1 ESTRUCTURA DE LOS DATOS
Column
Tenemos un archivo de entrenamiento para realizar un aprendizaje supervisado formado por 1460 casos con 81 variables.
Una de ellas es nuestro objetivo SalePrice, y debemos ser capaces de predecir esa variable con el dataframe Test que se nos proporciona, que es de 1459 casos.
Otra variable importante es la primera Id que nos identifica de manera única cada registro.
En el dataframe Train tenemos los 1460 primeros.
En el dataframe Test tenemos desde el 1461 hasta el 2919
Tenemos varios tipos de variables, como se vera en el siguiente epígrafe, además de las cuales cambiaremos los tipos de algunas.
Hay que realizar una limpieza y control exhaustiva de todos los datos, haciendo énfasis en los valores NA
Para realizar una preparación adecuada y buscar un modelo hay que unir los dos dataframe creando los datos que nos faltan en Test (SalePrice la variable objetivo ) y poniendo como valor NA
Column
Sumario, estructura de los dataset y dimensiones
Id MSSubClass MSZoning LotFrontage
Min. : 1.0 Min. : 20.0 Length:1460 Min. : 21.00
1st Qu.: 365.8 1st Qu.: 20.0 Class :character 1st Qu.: 59.00
Median : 730.5 Median : 50.0 Mode :character Median : 69.00
Mean : 730.5 Mean : 56.9 Mean : 70.05
3rd Qu.:1095.2 3rd Qu.: 70.0 3rd Qu.: 80.00
Max. :1460.0 Max. :190.0 Max. :313.00
NA's :259
LotArea Street Alley LotShape
Min. : 1300 Length:1460 Length:1460 Length:1460
1st Qu.: 7554 Class :character Class :character Class :character
Median : 9478 Mode :character Mode :character Mode :character
Mean : 10517
3rd Qu.: 11602
Max. :215245
LandContour Utilities LotConfig
Length:1460 Length:1460 Length:1460
Class :character Class :character Class :character
Mode :character Mode :character Mode :character
LandSlope Neighborhood Condition1
Length:1460 Length:1460 Length:1460
Class :character Class :character Class :character
Mode :character Mode :character Mode :character
Condition2 BldgType HouseStyle OverallQual
Length:1460 Length:1460 Length:1460 Min. : 1.000
Class :character Class :character Class :character 1st Qu.: 5.000
Mode :character Mode :character Mode :character Median : 6.000
Mean : 6.099
3rd Qu.: 7.000
Max. :10.000
OverallCond YearBuilt YearRemodAdd RoofStyle
Min. :1.000 Min. :1872 Min. :1950 Length:1460
1st Qu.:5.000 1st Qu.:1954 1st Qu.:1967 Class :character
Median :5.000 Median :1973 Median :1994 Mode :character
Mean :5.575 Mean :1971 Mean :1985
3rd Qu.:6.000 3rd Qu.:2000 3rd Qu.:2004
Max. :9.000 Max. :2010 Max. :2010
RoofMatl Exterior1st Exterior2nd
Length:1460 Length:1460 Length:1460
Class :character Class :character Class :character
Mode :character Mode :character Mode :character
MasVnrType MasVnrArea ExterQual ExterCond
Length:1460 Min. : 0.0 Length:1460 Length:1460
Class :character 1st Qu.: 0.0 Class :character Class :character
Mode :character Median : 0.0 Mode :character Mode :character
Mean : 103.7
3rd Qu.: 166.0
Max. :1600.0
NA's :8
Foundation BsmtQual BsmtCond
Length:1460 Length:1460 Length:1460
Class :character Class :character Class :character
Mode :character Mode :character Mode :character
BsmtExposure BsmtFinType1 BsmtFinSF1 BsmtFinType2
Length:1460 Length:1460 Min. : 0.0 Length:1460
Class :character Class :character 1st Qu.: 0.0 Class :character
Mode :character Mode :character Median : 383.5 Mode :character
Mean : 443.6
3rd Qu.: 712.2
Max. :5644.0
BsmtFinSF2 BsmtUnfSF TotalBsmtSF Heating
Min. : 0.00 Min. : 0.0 Min. : 0.0 Length:1460
1st Qu.: 0.00 1st Qu.: 223.0 1st Qu.: 795.8 Class :character
Median : 0.00 Median : 477.5 Median : 991.5 Mode :character
Mean : 46.55 Mean : 567.2 Mean :1057.4
3rd Qu.: 0.00 3rd Qu.: 808.0 3rd Qu.:1298.2
Max. :1474.00 Max. :2336.0 Max. :6110.0
HeatingQC CentralAir Electrical X1stFlrSF
Length:1460 Length:1460 Length:1460 Min. : 334
Class :character Class :character Class :character 1st Qu.: 882
Mode :character Mode :character Mode :character Median :1087
Mean :1163
3rd Qu.:1391
Max. :4692
X2ndFlrSF LowQualFinSF GrLivArea BsmtFullBath
Min. : 0 Min. : 0.000 Min. : 334 Min. :0.0000
1st Qu.: 0 1st Qu.: 0.000 1st Qu.:1130 1st Qu.:0.0000
Median : 0 Median : 0.000 Median :1464 Median :0.0000
Mean : 347 Mean : 5.845 Mean :1515 Mean :0.4253
3rd Qu.: 728 3rd Qu.: 0.000 3rd Qu.:1777 3rd Qu.:1.0000
Max. :2065 Max. :572.000 Max. :5642 Max. :3.0000
BsmtHalfBath FullBath HalfBath BedroomAbvGr
Min. :0.00000 Min. :0.000 Min. :0.0000 Min. :0.000
1st Qu.:0.00000 1st Qu.:1.000 1st Qu.:0.0000 1st Qu.:2.000
Median :0.00000 Median :2.000 Median :0.0000 Median :3.000
Mean :0.05753 Mean :1.565 Mean :0.3829 Mean :2.866
3rd Qu.:0.00000 3rd Qu.:2.000 3rd Qu.:1.0000 3rd Qu.:3.000
Max. :2.00000 Max. :3.000 Max. :2.0000 Max. :8.000
KitchenAbvGr KitchenQual TotRmsAbvGrd Functional
Min. :0.000 Length:1460 Min. : 2.000 Length:1460
1st Qu.:1.000 Class :character 1st Qu.: 5.000 Class :character
Median :1.000 Mode :character Median : 6.000 Mode :character
Mean :1.047 Mean : 6.518
3rd Qu.:1.000 3rd Qu.: 7.000
Max. :3.000 Max. :14.000
Fireplaces FireplaceQu GarageType GarageYrBlt
Min. :0.000 Length:1460 Length:1460 Min. :1900
1st Qu.:0.000 Class :character Class :character 1st Qu.:1961
Median :1.000 Mode :character Mode :character Median :1980
Mean :0.613 Mean :1979
3rd Qu.:1.000 3rd Qu.:2002
Max. :3.000 Max. :2010
NA's :81
GarageFinish GarageCars GarageArea GarageQual
Length:1460 Min. :0.000 Min. : 0.0 Length:1460
Class :character 1st Qu.:1.000 1st Qu.: 334.5 Class :character
Mode :character Median :2.000 Median : 480.0 Mode :character
Mean :1.767 Mean : 473.0
3rd Qu.:2.000 3rd Qu.: 576.0
Max. :4.000 Max. :1418.0
GarageCond PavedDrive WoodDeckSF OpenPorchSF
Length:1460 Length:1460 Min. : 0.00 Min. : 0.00
Class :character Class :character 1st Qu.: 0.00 1st Qu.: 0.00
Mode :character Mode :character Median : 0.00 Median : 25.00
Mean : 94.24 Mean : 46.66
3rd Qu.:168.00 3rd Qu.: 68.00
Max. :857.00 Max. :547.00
EnclosedPorch X3SsnPorch ScreenPorch PoolArea
Min. : 0.00 Min. : 0.00 Min. : 0.00 Min. : 0.000
1st Qu.: 0.00 1st Qu.: 0.00 1st Qu.: 0.00 1st Qu.: 0.000
Median : 0.00 Median : 0.00 Median : 0.00 Median : 0.000
Mean : 21.95 Mean : 3.41 Mean : 15.06 Mean : 2.759
3rd Qu.: 0.00 3rd Qu.: 0.00 3rd Qu.: 0.00 3rd Qu.: 0.000
Max. :552.00 Max. :508.00 Max. :480.00 Max. :738.000
PoolQC Fence MiscFeature
Length:1460 Length:1460 Length:1460
Class :character Class :character Class :character
Mode :character Mode :character Mode :character
MiscVal MoSold YrSold SaleType
Min. : 0.00 Min. : 1.000 Min. :2006 Length:1460
1st Qu.: 0.00 1st Qu.: 5.000 1st Qu.:2007 Class :character
Median : 0.00 Median : 6.000 Median :2008 Mode :character
Mean : 43.49 Mean : 6.322 Mean :2008
3rd Qu.: 0.00 3rd Qu.: 8.000 3rd Qu.:2009
Max. :15500.00 Max. :12.000 Max. :2010
SaleCondition SalePrice
Length:1460 Min. : 34900
Class :character 1st Qu.:129975
Mode :character Median :163000
Mean :180921
3rd Qu.:214000
Max. :755000
'data.frame': 1460 obs. of 81 variables:
$ Id : int 1 2 3 4 5 6 7 8 9 10 ...
$ MSSubClass : int 60 20 60 70 60 50 20 60 50 190 ...
$ MSZoning : chr "RL" "RL" "RL" "RL" ...
$ LotFrontage : int 65 80 68 60 84 85 75 NA 51 50 ...
$ LotArea : int 8450 9600 11250 9550 14260 14115 10084 10382 6120 7420 ...
$ Street : chr "Pave" "Pave" "Pave" "Pave" ...
$ Alley : chr NA NA NA NA ...
$ LotShape : chr "Reg" "Reg" "IR1" "IR1" ...
$ LandContour : chr "Lvl" "Lvl" "Lvl" "Lvl" ...
$ Utilities : chr "AllPub" "AllPub" "AllPub" "AllPub" ...
$ LotConfig : chr "Inside" "FR2" "Inside" "Corner" ...
$ LandSlope : chr "Gtl" "Gtl" "Gtl" "Gtl" ...
$ Neighborhood : chr "CollgCr" "Veenker" "CollgCr" "Crawfor" ...
$ Condition1 : chr "Norm" "Feedr" "Norm" "Norm" ...
$ Condition2 : chr "Norm" "Norm" "Norm" "Norm" ...
$ BldgType : chr "1Fam" "1Fam" "1Fam" "1Fam" ...
$ HouseStyle : chr "2Story" "1Story" "2Story" "2Story" ...
$ OverallQual : int 7 6 7 7 8 5 8 7 7 5 ...
$ OverallCond : int 5 8 5 5 5 5 5 6 5 6 ...
$ YearBuilt : int 2003 1976 2001 1915 2000 1993 2004 1973 1931 1939 ...
$ YearRemodAdd : int 2003 1976 2002 1970 2000 1995 2005 1973 1950 1950 ...
$ RoofStyle : chr "Gable" "Gable" "Gable" "Gable" ...
$ RoofMatl : chr "CompShg" "CompShg" "CompShg" "CompShg" ...
$ Exterior1st : chr "VinylSd" "MetalSd" "VinylSd" "Wd Sdng" ...
$ Exterior2nd : chr "VinylSd" "MetalSd" "VinylSd" "Wd Shng" ...
$ MasVnrType : chr "BrkFace" "None" "BrkFace" "None" ...
$ MasVnrArea : int 196 0 162 0 350 0 186 240 0 0 ...
$ ExterQual : chr "Gd" "TA" "Gd" "TA" ...
$ ExterCond : chr "TA" "TA" "TA" "TA" ...
$ Foundation : chr "PConc" "CBlock" "PConc" "BrkTil" ...
$ BsmtQual : chr "Gd" "Gd" "Gd" "TA" ...
$ BsmtCond : chr "TA" "TA" "TA" "Gd" ...
$ BsmtExposure : chr "No" "Gd" "Mn" "No" ...
$ BsmtFinType1 : chr "GLQ" "ALQ" "GLQ" "ALQ" ...
$ BsmtFinSF1 : int 706 978 486 216 655 732 1369 859 0 851 ...
$ BsmtFinType2 : chr "Unf" "Unf" "Unf" "Unf" ...
$ BsmtFinSF2 : int 0 0 0 0 0 0 0 32 0 0 ...
$ BsmtUnfSF : int 150 284 434 540 490 64 317 216 952 140 ...
$ TotalBsmtSF : int 856 1262 920 756 1145 796 1686 1107 952 991 ...
$ Heating : chr "GasA" "GasA" "GasA" "GasA" ...
$ HeatingQC : chr "Ex" "Ex" "Ex" "Gd" ...
$ CentralAir : chr "Y" "Y" "Y" "Y" ...
$ Electrical : chr "SBrkr" "SBrkr" "SBrkr" "SBrkr" ...
$ X1stFlrSF : int 856 1262 920 961 1145 796 1694 1107 1022 1077 ...
$ X2ndFlrSF : int 854 0 866 756 1053 566 0 983 752 0 ...
$ LowQualFinSF : int 0 0 0 0 0 0 0 0 0 0 ...
$ GrLivArea : int 1710 1262 1786 1717 2198 1362 1694 2090 1774 1077 ...
$ BsmtFullBath : int 1 0 1 1 1 1 1 1 0 1 ...
$ BsmtHalfBath : int 0 1 0 0 0 0 0 0 0 0 ...
$ FullBath : int 2 2 2 1 2 1 2 2 2 1 ...
$ HalfBath : int 1 0 1 0 1 1 0 1 0 0 ...
$ BedroomAbvGr : int 3 3 3 3 4 1 3 3 2 2 ...
$ KitchenAbvGr : int 1 1 1 1 1 1 1 1 2 2 ...
$ KitchenQual : chr "Gd" "TA" "Gd" "Gd" ...
$ TotRmsAbvGrd : int 8 6 6 7 9 5 7 7 8 5 ...
$ Functional : chr "Typ" "Typ" "Typ" "Typ" ...
$ Fireplaces : int 0 1 1 1 1 0 1 2 2 2 ...
$ FireplaceQu : chr NA "TA" "TA" "Gd" ...
$ GarageType : chr "Attchd" "Attchd" "Attchd" "Detchd" ...
$ GarageYrBlt : int 2003 1976 2001 1998 2000 1993 2004 1973 1931 1939 ...
$ GarageFinish : chr "RFn" "RFn" "RFn" "Unf" ...
$ GarageCars : int 2 2 2 3 3 2 2 2 2 1 ...
$ GarageArea : int 548 460 608 642 836 480 636 484 468 205 ...
$ GarageQual : chr "TA" "TA" "TA" "TA" ...
$ GarageCond : chr "TA" "TA" "TA" "TA" ...
$ PavedDrive : chr "Y" "Y" "Y" "Y" ...
$ WoodDeckSF : int 0 298 0 0 192 40 255 235 90 0 ...
$ OpenPorchSF : int 61 0 42 35 84 30 57 204 0 4 ...
$ EnclosedPorch: int 0 0 0 272 0 0 0 228 205 0 ...
$ X3SsnPorch : int 0 0 0 0 0 320 0 0 0 0 ...
$ ScreenPorch : int 0 0 0 0 0 0 0 0 0 0 ...
$ PoolArea : int 0 0 0 0 0 0 0 0 0 0 ...
$ PoolQC : chr NA NA NA NA ...
$ Fence : chr NA NA NA NA ...
$ MiscFeature : chr NA NA NA NA ...
$ MiscVal : int 0 0 0 0 0 700 0 350 0 0 ...
$ MoSold : int 2 5 9 2 12 10 8 11 4 1 ...
$ YrSold : int 2008 2007 2008 2006 2008 2009 2007 2009 2008 2008 ...
$ SaleType : chr "WD" "WD" "WD" "WD" ...
$ SaleCondition: chr "Normal" "Normal" "Normal" "Abnorml" ...
$ SalePrice : int 208500 181500 223500 140000 250000 143000 307000 200000 129900 118000 ...[1] 1460 812 VARIABLES
Row
ESTE TIPO DE VARIABLES SON CUANTIFICABLES. PINCHE EL TIPO AL QUE QUIERE DIRIGIRSE
Variables cuantificables. Variables categoricas . Variables cuantificadas
Row
.
| Codigo | Significado |
|---|---|
| ID | Identidad |
| LotFrontage | pies lineales de la calle conectados a la propiedad |
| LotArea | Tamaño del lote en pies cuadrados |
| YearBuilt | fecha de construcción original |
| YearRemodAdd | fecha de remodelación |
| MasVnrArea | área de chapa de la albañilería en pies cuadrados |
| BsmtFinSF1 | Tipo 1 pies cuadrados terminados |
| BsmtFinSF2 | Tipo 2 pies cuadrados terminados |
| BsmtUnfSF | Pies cuadrados sin terminar del área del sótano |
| TotalBsmtSF | pies cuadrados totales del área del sótano |
| 1stFlrSF | primer piso pies cuadrados |
| 2ndFlrSF | segundo piso pies cuadrados |
| LowQualFinSF | Pies cuadrados terminados de baja calidad (todos los pisos) |
| GrLivArea | pies cuadrados del área habitable sobre el nivel del suelo |
| BsmtFullBath | baños completos en el sótano |
| BsmtHalfBath | medio baño en el sótano |
| FullBath | baños completos por encima del grado |
| HalfBath | medio baño por encima del grado |
.
| Codigo | Significado |
|---|---|
| Bedroom | Número de habitaciones sobre el nivel del sótano |
| Kitchen | Número de cocinas |
| TotRmsAbvGrd | Total de habitaciones por encima del grado (no incluye baños) |
| Fireplaces | cantidad de chimeneas |
| GarageYrBlt | año de garaje fue construido |
| GarageCars | tamaño del garaje en la capacidad del automóvil |
| GarageArea | Tamaño del garaje en pies cuadrados |
| WoodDeckSF | área de cubierta de madera en pies cuadrados |
| OpenPorchSF | área de porche abierto en pies cuadrados |
| EnclosedPorch | área de porche cerrado en pies cuadrados |
| 3SsnPorch | área del porche de tres estaciones en pies cuadrados |
| ScreenPorch | área del porche de la pantalla en pies cuadrados |
| PoolArea | área de la piscina en pies cuadrados |
| MiscVal | $ Valor de la función miscelánea |
| MoSold | Mes vendido |
| YrSold | Año de venta |
| SalePrice | el precio de venta de la propiedad en dólares. |
3 VALORES NULOS Y PERDIDOS
Column
Veamos primero cuantos valores y en cuantas columnas tenemos NA
| x | |
|---|---|
| PoolQC | 2909 |
| MiscFeature | 2814 |
| Alley | 2721 |
| Fence | 2348 |
| SalePrice | 1459 |
| FireplaceQu | 1420 |
| LotFrontage | 486 |
| GarageYrBlt | 159 |
| GarageFinish | 159 |
| GarageQual | 159 |
| GarageCond | 159 |
| GarageType | 157 |
| BsmtCond | 82 |
| BsmtExposure | 82 |
| BsmtQual | 81 |
| BsmtFinType2 | 80 |
| BsmtFinType1 | 79 |
| MasVnrType | 24 |
| MasVnrArea | 23 |
| MSZoning | 4 |
| Utilities | 2 |
| BsmtFullBath | 2 |
| BsmtHalfBath | 2 |
| Functional | 2 |
| Exterior1st | 1 |
| Exterior2nd | 1 |
| BsmtFinSF1 | 1 |
| BsmtFinSF2 | 1 |
| BsmtUnfSF | 1 |
| TotalBsmtSF | 1 |
| Electrical | 1 |
| KitchenQual | 1 |
| GarageCars | 1 |
| GarageArea | 1 |
| SaleType | 1 |
Column
Veamos un listado de los valores NA usados como categoria
Estaban marcados en rojo en su respectiva tabla
Alleytipo de acceso a callejones
Codigo Significado NA No alley access
BsmtQualAltura del sótano
Codigo Significado NA No Basement
BsmtCondestado general del sótano
Codigo Significado NA No Basement
BsmtExposuremuros de sotano a ras de suelo o de jardín
Codigo Significado NA No Basement
BsmtFinType1Calidad del área acabada del sótano
Codigo Significado NA No Basement
BsmtFinType2Calidad del segundo área terminada (si está presente)
Codigo Significado NA No Basement
FireplaceQucalidad de la chimenea
Codigo Significado NA No Fireplace
GarageTypeubicación del garaje
Codigo Significado NA No Garage
GarageFinishacabado interior del garaje
Codigo Significado NA No Garage
GarageQualcalidad de garaje
Codigo Significado NA No Garage
GarageCondcondición de garaje
Codigo Significado NA No Garage
PoolQCcalidad de la piscina
Codigo Significado NA No Pool
Fencecalidad de la cerca
Codigo Significado NA No Fence
MiscFeaturecaracterística miscelánea no cubierta en otras categorías
Codigo Significado NA None
Column
Podemos apreciar que en todas las variables donde aparece (Callejon, Sotanos, Garages, Piscinas, Cerca y Varios), el sentido que se le da es “Ninguno” o “No existe”.
Por lo que podemos cambiar el código en esas variables por NONE
Volvemos a comprobar cuantas columnas quedan con valores NA despues de la sustitucion
| x | |
|---|---|
| SalePrice | 1459 |
| LotFrontage | 486 |
| GarageYrBlt | 159 |
| MasVnrType | 24 |
| MasVnrArea | 23 |
| MSZoning | 4 |
| Utilities | 2 |
| BsmtFullBath | 2 |
| BsmtHalfBath | 2 |
| Functional | 2 |
| Exterior1st | 1 |
| Exterior2nd | 1 |
| BsmtFinSF1 | 1 |
| BsmtFinSF2 | 1 |
| BsmtUnfSF | 1 |
| TotalBsmtSF | 1 |
| Electrical | 1 |
| KitchenQual | 1 |
| GarageCars | 1 |
| GarageArea | 1 |
| SaleType | 1 |
4 BUSQUEDA DETALLADA POR VARIABLES
Row
NOS QUEDAN VALORES NULOS POR CONCRETAR EN:
Row
PINCHE EN CADA VARIABLE PARA VER EN DETALLE .
GARAGE
GarageYrBlt --> 159 registros GarageCars --> 1 registros GarageArea --> 1 registros
BsmtFullBath --> 2 registros BsmtHalfBath --> 2 registros BsmtFinSF1 --> 1 registro BsmtFinSF2 --> 1 registro BsmtUnfSF --> 1 registro TotalBsmtSF --> 1 registro
MasVnrType --> 24 registros MaVnrArea --> 23 registros
LotFrontage --> 486 registros
Exterior1st --> 1 registro Exterior2nd --> 1 registroPINCHE EN CADA VARIABLE PARA VER EN DETALLE .
UTILIDADES (Utilities)
Utilities --> 2 registros
Functional --> 2 registros
Electrical --> 1 registro
KitchenQual --> 1 registro
SaleType --> 1 registro
MSZoning --> 4 registro
5. CONTRADICCIONES
Vamos a buscar contradicciones entre características similares
Row
PISCINA (Pool)
No se puede establecer una relacion directa entre la calidad de la piscina y el area.
Buscaremos en la calidad general de la casa
| Id | PoolQC | PoolArea |
|---|---|---|
| 2421 | NONE | 368 |
| 2504 | NONE | 444 |
| 2600 | NONE | 561 |
Tenemos tres registros que tienen un area de piscina sin tenerla
| Var1 | Freq |
|---|---|
| NONE | 2909 |
| Ex | 4 |
| Gd | 4 |
| Fa | 2 |
La gran mayoría de las casas no tienen piscina. De esas 10 que si tienen mas las tres que nos faltan hay que poder encontrar un criterio con el que dar una cualificación a los registros que faltan. Buscaremos algún tipo de relación
| Id | PoolQC | PoolArea | OverallQual | OverallCond |
|---|---|---|---|---|
| 198 | Ex | 512 | 8 | 4 |
| 811 | Fa | 648 | 6 | 6 |
| 1171 | Gd | 576 | 6 | 6 |
| 1183 | Ex | 555 | 10 | 5 |
| 1299 | Gd | 480 | 10 | 5 |
| 1387 | Fa | 519 | 7 | 5 |
| 1424 | Gd | 738 | 6 | 7 |
| 1975 | Ex | 144 | 10 | 5 |
| 2421 | NONE | 368 | 4 | 6 |
| 2504 | NONE | 444 | 6 | 5 |
| 2574 | Ex | 228 | 8 | 5 |
| 2600 | NONE | 561 | 3 | 5 |
| 2711 | Gd | 800 | 7 | 4 |
razon a la proporcion OverallQual*100/PoolArea
| Id | PoolQC | PoolArea | OverallQual | OverallCond | razon |
|---|---|---|---|---|---|
| 1975 | Ex | 144 | 10 | 5 | 6.944 |
| 2574 | Ex | 228 | 8 | 5 | 3.509 |
| 1299 | Gd | 480 | 10 | 5 | 2.083 |
| 1183 | Ex | 555 | 10 | 5 | 1.802 |
| 198 | Ex | 512 | 8 | 4 | 1.562 |
| 2504 | NONE | 444 | 6 | 5 | 1.351 |
| 1387 | Fa | 519 | 7 | 5 | 1.349 |
| 2421 | NONE | 368 | 4 | 6 | 1.087 |
| 1171 | Gd | 576 | 6 | 6 | 1.042 |
| 811 | Fa | 648 | 6 | 6 | 0.926 |
| 2711 | Gd | 800 | 7 | 4 | 0.875 |
| 1424 | Gd | 738 | 6 | 7 | 0.813 |
| 2600 | NONE | 561 | 3 | 5 | 0.535 |
Si se puede establecer una cierta relación , por lo que asignamos la calidad de la piscina asi, teniendo en cuenta que good Gd es mejor que fair Fa
total[2504,73]<-'Gd'
total[2421,73]<-'Gd'
total[2600,73]<-'Fa'CHIMENEA (Fireplace)
No existe contradiccion entre el numero de chimeneas y la calidad
nrow(total%>%filter(Fireplaces>0 & FireplaceQu=='NONE')%>%select(Id,Fireplaces,FireplaceQu,OverallQual,OverallCond))[1] 0
SOTANO (Basement)
En las areas tenemos que el area del tipo 1 + area del tipo 2 + area sin terminar = Area total
Comprobamos y buscamos incongruencias
prueba<-total%>%select(Id,TotalBsmtSF,BsmtFinSF1,BsmtFinSF2,BsmtUnfSF)
prueba[,2]<--prueba[,2]
prueba[,6]<-apply(prueba[,2:5],1,sum)
nrow(prueba%>%filter(V6>0))[1] 0No existe ningun registro con el area mal
En los registros sin sotano compruebo que no exista algún campo que no corresponda
Existen 79 registros que no tienen sotano
prueba<-total%>%filter(BsmtQual=='NONE'|BsmtCond=='NONE'|BsmtExposure=='NONE'|BsmtFinType1=='NONE'|BsmtFinType2=='NONE')%>%select(Id,BsmtQual,BsmtCond,BsmtExposure,BsmtFinType1,BsmtFinType2,BsmtFullBath,BsmtHalfBath)
prueba1<-prueba%>%filter(BsmtQual!='NONE'|BsmtCond!='NONE'|BsmtExposure!='NONE'|BsmtFinType1!='NONE'|BsmtFinType2!='NONE'|BsmtFullBath>0|BsmtHalfBath>0)%>%select(Id,BsmtQual,BsmtCond,BsmtExposure,BsmtFinType1,BsmtFinType2,BsmtFullBath,BsmtHalfBath)
nrow(prueba1)[1] 0Ninguno de ellos tiene incongruencias
Busco los sotanos existentes que no tienen area construida en el primer tipo
prueba<-total%>%filter(BsmtFinType1!='NONE' & BsmtFinSF1==0 )%>%select(Id,BsmtQual,BsmtCond,BsmtExposure,BsmtFinType1,BsmtFinType2,BsmtFullBath,BsmtHalfBath,TotalBsmtSF,BsmtFinSF1,BsmtFinSF2,BsmtUnfSF)
table(prueba$BsmtFinType1,prueba$BsmtFinType2)
Unf
Unf 851
Esos 851 no tiene tampoco del segundo tipo Unf
table(prueba$BsmtFinSF1,prueba$BsmtFinSF2)
0
0 851
Las areas son 0 en todos los casos
nrow(prueba%>%filter(prueba$BsmtUnfSF==0))[1] 0
Todos los registros aparecen como Unf Inacabado. Es correcto
GARAGE
En los inmuebles sin garaje buscamos registros que tengan campos con contradicciones o incongruencias
prueba<-total%>%filter(GarageType=='NONE' | GarageFinish=='NONE' | GarageQual=='NONE' | GarageCond== 'NONE')%>%select(Id,GarageType,GarageYrBlt,GarageFinish,GarageQual,GarageArea,GarageCond,GarageCars)
nrow(prueba%>%filter(GarageType!='NONE' | GarageFinish!='NONE' | GarageQual!='NONE' | GarageCond!= 'NONE' | GarageYrBlt>0 | GarageCars>0 | GarageArea>0 )%>%select(Id,GarageType,GarageYrBlt,GarageFinish,GarageQual,GarageArea,GarageCond,GarageCars))[1] 0
En los inmuebles con garaje buscamos registros que tengan campos con contradicciones o incongruencias
prueba<-total%>%filter(GarageType!='NONE' | GarageFinish!='NONE' | GarageQual!='NONE' | GarageCond!= 'NONE' | GarageYrBlt>0 | GarageCars>0 | GarageArea>0 )%>%select(Id,GarageType,GarageYrBlt,GarageFinish,GarageQual,GarageArea,GarageCond,GarageCars)
nrow(prueba%>%filter(GarageType=='NONE' | GarageFinish=='NONE' | GarageQual=='NONE' | GarageCond== 'NONE' | GarageYrBlt==0 | GarageCars==0 | GarageArea==0)%>%select(Id,GarageType,GarageYrBlt,GarageFinish,GarageQual,GarageArea,GarageCond,GarageCars))[1] 0
6. TIPOLOGIAS
Column
CATEGORICAS
Teniendo en cuenta que para el análisis con las variable independientes categóricas se crearan variables “dummy”, tantas como categorías-1 por cada variable, parece claro pensar que favorece reducir el numero de variables, reduciendo la complejidad.
En nuestro caso , y en mi opinión es posible realizarlo cambiando ciertas variables de categóricas a ordinales. Sobre todo en aquellas que tengan un orden que parezca lógico.
Para seguir un criterio razonable, he escogido la transformación creciente desde 0 hasta el numero de categorías dentro de cada variable, siempre desde menos a mas, o si se prefiere de peor a mejor, pero con la salvedad de que 0 solo se escoge para la categoría que significa que no existe esa variable.
Por simplificar con un ejemplo, puedo tener una variable que me habla de la calidad del acabado del garaje, dentro de las cuales tengo varias categorías que van desde una mala calidad a una muy buena. Evidentemente el orden es creciente con el máximo valor para la mejor de las categorías, pero el 0 se reserva solo si dentro de esas categorías me aparece una indicando que no tiene garaje
Estas son las variables categóricas que he seleccionado, y al lado la asignación que le doy a cada categoría de cada una de ellas
ORDINALES
Vamos a revisar las variables que ya teníamos como ordinales en los datos originales
Mientras que OverallQual y OverallCond no ofrecen ninguna duda, MSSubclass me parece que no esta correctamente planteada.
Puede que se usara ese código numerico para identificar mejor las distintas clases de edificación pero no tiene una relación ordinal
Se puede apreciar en el grafico con la relación que tiene con el precio
CUANTITATIVAS
En el caso de variables cuantitativas originalmente en el dataset , vamos a revisar aquellas que no tengan justificación como numericas
Antes de empezar voy a revisar la normalidad de las variables cuantitativas para lo cual he creado un pequeño codigo que me indica la normalidad SI o NO de las variables
NO
38 El resultado es que ninguna de las variables numéricas tienen normalidad. Esto me sirve para seleccionar el método de correlacion de Spearman
Vemos las variables cuantitativas susceptibles de cambiarse a categoricas
En principio voy a revisar aquellas cuya cantidad represente algo en si misma, y en esta categoría entran todo lo referido a fechas. Repasando una por una
En la categoria de fechas se encuentran las 4 primeras
YearBuilt YearRemodAdd (Año de construccion y Año de remodelacion)
GarageYrBuilt (Año en el que fue construido el garage)
Veremos a continuacion el resto de variables cuantitativas y relación entre ellas para poder ver si reducimos su numero.
Voy a crear una matriz de correlaciones entre estas variables sin contar en principio con el precio.
Para saber si existe una dependencia entre algunas de ellas que nos pueda servir.
Para eso uso el paquete corrplot
Esta es la revision general
REVISION RESTO CUANTITATIVAS (Sin relacion con fechas)
Vere a continuación las variables con una fuerte correlacion por si se puede reducir el numero de variables predictoras
GRLIVAREA FULLBATH TOTRMSABVGRD
Normalizacion de resto de variables
Todos estos epigrafes se encuentran ademas en el menu 2 PREPARACION
FACTORES
En el caso del estudio de las variables categóricas, tenemos que partir de un enfoque diferente
Como estamos hablando de variables categóricas no podemos en principio calcular un valor directo como usábamos el de la correlacion en las variables continuas.
Pero si podemos usar el coeficiente de determinación o bondad del ajuste que en los casos de regresion lineal simple es el cuadrado de la correlacion de Pearson.
Luego la forma de seleccionar aquellas variables que tienen influencia sobre el precio va a ser calcular el coeficiente de determinación
Para facilitar esto vamos a usar el paquete FactoMineR.
Esta todo detallado en el menu 3 PREPARACION
1. MOSOLD
Vemos como se distribuye
En azul el total de viviendas, y por encima en rojo solo el conjunto de entrenamiento.
No parece que haya excesivas diferencias y en la mayoría de los meses se aprecia visualmente que el conjunto de entrenamiento representa la mitad del total.
Podemos apreciar que la numeración se refiere evidentemente a los meses y refleja una distribución en la venta superior en los meses de Mayo, Junio y Julio.
Veamos si eso afecta a el precio de venta en el conjunto Train
El precio medio es parecido y no se ve relación con el mes (por encima aparece la cantidad)
Boxplot
Vemos correlacion
cor(x=TrainNum$MoSold,y=TrainNum$SalePrice,method="spearman",use="na.or.complete")[1] 0.0694322En mi opinión con esa correlacion tan próxima a 0 no influye para nada en el precio
2. YRSOLD
Tenemos un total de cuatro años. Veamoslo gráficamente al igual que con los meses
La media por año con el numero de casos
Boxplot
Vemos correlacion
cor(x=TrainNum$YrSold,y=TrainNum$SalePrice,method="spearman",use="na.or.complete")[1] -0.0298991Tienen una correlacion cercana a 0 lo cual indica una influencia en el precio infima
Tiene la particularidad de que nos puede servir para considerar la antigüedad de la vivienda y ahí puede ser relevante su uso.
Voy a posponerlo para mas adelante cuando veamos el año de construcción y el de remodelación
3. YEARBUILT YEARREMODADD
Vamos a ver gráficamente la relación con el precio de venta del año de construccion
Vemos estas dos variables puesto que están muy relacionadas.
El año de construccion no necesita explicación, en cuanto a el año de remodelacion es el año en que la vivienda ha sufrido algún tipo de reforma.
Si no ha tenido ninguna esta se corresponde con la fecha de construcción.
Vemos ahora para el año de remodelación
Tiene la peculiaridad de que computa a partir de 1950, y en ese año tiene un numero extraordinario de casos, 178 en el Train y 361 en el total, seguramente porque se empezaría a computar ese año y todas las que tienen una antigüedad mayor se computan aqui
Parece razonable pensar a la vista de las graficas que existe algún tipo de relación con el precio de venta. Numericamente:
#Correlacion año construccion
cor(x=TrainNum$YearBuilt,y=TrainNum$SalePrice,method = "spearman",use="na.or.complete")[1] 0.652682#Correlacion año remodelacion
cor(x=TrainNum$YearRemodAdd,y=TrainNum$SalePrice,method = "spearman",use="na.or.complete")[1] 0.571159¿Que pasaria si distinguimos aquellas casas que han sido remodeladas , y por lo tanto su fecha de remodelacion es diferente a la de construccion, de aquellas que no lo han sido?
Prueba de remodelacion.
Creamos una columna.
No remodelados=0. Remodelados=1
#Calculamos correlacion para remodelados
#Correlacion año construccion
cor(x=T1$YearBuilt,y=T1$SalePrice,method="spearman",use="na.or.complete")[1] 0.643186#Correlacion año remodelacion
cor(x=T1$YearRemodAdd,y=T1$SalePrice,method="spearman",use="na.or.complete")[1] 0.478056#No remodelados
cor(x=T0$YearBuilt,y=T0$SalePrice,method="spearman",use="na.or.complete")[1] 0.680097Esta claro que importa el año de construccion, importa el año de remodelacion, importa si estan o no remodeladas en cuanto afecta a su antigüedad y además tenemos unos valores extraños en 1950 que debemos corregir.
Voy a considerar que ninguna de esas viviendas situadas en 1950 han sido remodeladas por lo que aplicare a esa variable, la del año de construcción
Aplico a la remodelacion de los de 1950 el año de construccion y recalculamos
#Calculamos correlacion para remodelados
#Correlacion año construccion
cor(x=T1$YearBuilt,y=T1$SalePrice,method="spearman",use="na.or.complete")[1] 0.613344#Correlacion año remodelacion
cor(x=T1$YearRemodAdd,y=T1$SalePrice,method="spearman",use="na.or.complete")[1] 0.229517#No remodelados
cor(x=T0$YearBuilt,y=T0$SalePrice,method="spearman",use="na.or.complete")[1] 0.708576Graficamente
Vamos a afinar un poco mas calculando la antigüedad respecto al año de venta. Creamos una columna nueva
Calculo antiguedad completa y comprobamos posibles errores
| Id | YearBuilt | YrSold |
|---|---|---|
| 2550 | 2008 | 2007 |
total[2550,78]<-2008Existe un registro con el año de venta anterior al de la construccion. Lo igualo
Buscarè errores también en el año de remodelación
Revision de incongruencia de datos con YearRemodAdd
| Id | YrSold | YearBuilt | YearRemodAdd |
|---|---|---|---|
| 524 | 2007 | 2007 | 2008 |
| 2296 | 2007 | 2007 | 2008 |
| 2550 | 2008 | 2008 | 2009 |
total[524,21]<-2007
total[2296,21]<-2007
total[2550,21]<-2008Corrijo los valores del año de remodelacion posteriores al año de construccion y venta, y pongo los valores de este ultimo
Mas incongruencias
| Id | YrSold | YearBuilt | YearRemodAdd |
|---|---|---|---|
| 1877 | 2009 | 2002 | 2001 |
total[1877,21]<-2002El año de remodelacion es anterior al de construccion
Corrijo los valores al año de construccion
Volvemos a calcular y actualizar
#Calculamos correlacion para remodelados
cor(x=T1$Antiguedad,y=T1$SalePrice,method="spearman",use="na.or.complete")[1] -0.612723#No remodelados
cor(x=T0$Antiguedad,y=T0$SalePrice,method="spearman",use="na.or.complete")[1] -0.706995Al cambiar el calculo sobre la antiguedad se invierte el signo de la correlacion
Graficamente la antiguedad
Los valores son parecidos pero al calcular sobre el numero de años se invierte el signo
En conclusión, la antigüedad de la vivienda tiene una relación fuerte con el precio de venta, y además el hecho de ser una vivienda remodelada o no tambien es importante.
Le afecta menos cuando se ha realizado dicha remodelación.
Por lo cual calculamos la antigüedad (ya realizado), calculamos si hay o no remodelación
#Conclusiones
total$Remodelado<-0
total$Remodelado[total$YearBuilt!=total$YearRemodAdd]<-1
#Recargamos los datos
NNum<-which(sapply(total,is.numeric))
TotalNum<-total[,NNum]Si calculamos la correlacion de la antiguedad respecto al precio tenemos un valor -0.65012.
Hemos visto que los remodelados tienen -0.612723 y los no remodelados -0.706995 lo que significa que están penalizados por el calculo conjunto.
Podriamos pensar que si tomamos la antigüedad como la diferencia entre el año de venta y el de remodelación(teniendo en cuenta que para las viviendas no remodeladas este es igual que el de construcción) obtendríamos una variable mas adecuada, pero es al contrario , el valor de la correlacion es -0.575787.
Hay que encontrar una manera de penalizar a las viviendas remodeladas en su antigüedad
Mi propuesta es penalizar a las viviendas que han sido remodeladas aumentando su antigüedad de manera artificial.
Proporcionalmente al tiempo que se ha tardado en remodelar. ¿Cuánto?. La decima porcentual que tienen de diferencia las correlaciones.
Vemos los valores y penalizamos
#Penalizacion
TotalNum.remo<-TotalNum%>%filter(Remodelado==1)
summary(TotalNum.remo$YearRemodAdd-TotalNum.remo$YearBuilt) Min. 1st Qu. Median Mean 3rd Qu. Max.
1.0 1.0 20.0 29.9 52.0 127.0 total$Penaliza<-total$YearRemodAdd-total$YearBuilt
#Normalizo y penalizo
total$Antiguedad<-normalize(total$Antiguedad)
total$Penaliza<-normalize(total$Penaliza)
total$Antiguedad<-total$Antiguedad+total$Penaliza*0.1
#Borro las variables auxiliares Remodelado y Penaliza
total$Remodelado<-NULL
total$Penaliza<-NULL
#Vemos correlacion nueva variable Antiguedad
cor(x=TrainNum$Antiguedad,y=TrainNum$SalePrice,method="spearman",use="na.or.complete")[1] -0.65012Creo una columna donde pongo este calculo
Como la antiguedad la tenemos en enteros y para ser justo con la penalizacion voy a normalizar las variables
Luego le aplicare un 10% de la antigüedad de la remodelación a la antigüedad de la vivienda
La correlacion de Antiguedad es de -0.641654
Partiamos de una correlacion de Año Construccion de 0.652682 y en Año Remodelacion de 0.570737
Nos hemos acercado a la mas alta pero reduciendo a la mitad el numero de variables
4. GARAGEYRBUILT
Eliminamos los valores igual a 0, o sea que no tienen garaje. Ya comprobamos anteriormente la congruencia de los registros. Vemos gráficamente
Tenemos un outlier. Corresponde al registro 2593.
Vamos a ver los datos pertinentes y modificamos
| Id | GarageType | GarageYrBlt | GarageFinish | GarageQual | GarageArea | GarageCond | GarageCars | YearBuilt | YearRemodAdd | YrSold |
|---|---|---|---|---|---|---|---|---|---|---|
| 2593 | Attchd | 2207 | 2 | 3 | 502 | 3 | 2 | 2006 | 2007 | 2007 |
total[2593,60]<-2007Podemos inferir que el año real de construcción del garaje es 2007 y no 2207.
Recalculamos y volvemos a observar
Verifico que el año de construcción del Garage sea posterior al de la casa. Ponemos el año como el de la vivienda en los que no lo sea
| Id | YearBuilt | GarageYrBlt |
|---|---|---|
| 30 | 1927 | 1920 |
| 94 | 1910 | 1900 |
| 325 | 1967 | 1961 |
| 601 | 2005 | 2003 |
| 737 | 1950 | 1949 |
| 1104 | 1959 | 1954 |
| 1377 | 1930 | 1925 |
| 1415 | 1923 | 1922 |
| 1419 | 1963 | 1962 |
| 1522 | 1959 | 1956 |
| 1577 | 2010 | 2009 |
| 1806 | 1935 | 1920 |
| 1841 | 1978 | 1960 |
| 1896 | 1941 | 1940 |
| 1898 | 1935 | 1926 |
| 2123 | 1945 | 1925 |
| 2264 | 2006 | 2005 |
| 2510 | 2006 | 2005 |
total$GarageYrBlt[(total$GarageYrBlt<total$YearBuilt)&(total$GarageYrBlt!=0)]<-total$YearBuilt[(total$GarageYrBlt<total$YearBuilt)&(total$GarageYrBlt!=0)]
#Recalculo
NNum<-which(sapply(total,is.numeric))
TotalNum<-total[,NNum]
TrainNum<-TotalNum%>%filter(is.na(SalePrice)==FALSE)Hay 18 registros que tienen el año de construccion del garage anterior al de la vivienda. Entiendo que se debe a errores tipográficos, como confundir un 4 por un 9 o diferencias pequeñas de tiempo que hacen variar en un año
Veamos la relación con el precio
Podemos pensar que parece existir una relación.
Numericamente
cor(x=GarageAno$GarageYrBlt,y=GarageAno$SalePrice,method="spearman",use="na.or.complete")[1] 0.594246Hay que tener en cuenta que no he incluido los registros que no tienen garaje.
Si se les incluye, curiosamente la correlacion aumenta.
De todas formas es interesante realizar como con la variable anterior, calcular la antigüedad
#Calculo antiguedad Garaje
total$AntGarage<-total$YrSold-total$GarageYrBlt
#Recalculo
NNum<-which(sapply(total,is.numeric))
TotalNum<-total[,NNum]
TrainNum<-TotalNum%>%filter(is.na(SalePrice)==FALSE)
#Correlacion
cor(x=TrainNum$AntGarage,y=TrainNum$SalePrice,method="spearman",use="na.or.complete")[1] -0.63301Y graficamente
Todo el grupo de observaciones que se ve a la derecha son aquellos que no tienen garage y les sale como antiguedad tanta como el año de venta. Eso les supone una penalizacion
En conclusion para las variables YearBuilt, YearRemodAdd, MoSold, YrSold y GarageYrBlt nos quedamos con Antigüedad y AntGarage como variables importantes para el precio de venta
5. REVISION RESTO CUANTITATIVAS
Primero la correlacion de las variables entre si, sin contar con el precio ni las variables ya tratadas
Se ve claramente dependencia en ciertos grupos de variables.
Antes de seguir vamos a ver la correlacion de las variable significativas (superior a 0.5 en términos absolutos) respecto al Precio
En el grafico en la fila inferior tenemos SalePrice.
En rojo las variables con correlacion negativa :
AntGarage AntigüedadEn azul las variables predictoras con correlacion positiva:
GarageArea GarageCars
Fireplaces FireplaceQu
X1stFlrSF TotalBsmtSF
TotRmsAbvGrd GrLivArea FullBath
GarageFinish
KitchenQual
BsmtQual
ExterQual
OverallQual
Las variables que pongo juntas tienen una correlacion fuerte (ver primer grafico ) entre ellas y cierta explicacion lógica.
6. ANTIGUEDAD y ANTGARAGE
Es evidente que tiene una gran correlacion porque en cierta medida su valor crece de manera proporcionada.
Si una vivienda tiene un garaje, la antigüedad del garaje crece de igual manera que la antigüedad de la vivienda y suelen ser iguales salvo que el garaje se haya construido después.
De todas formas no soy partidario de unirlas de alguna forma porque la variable AntGarage tiene la peculiaridad de aquellas viviendas sin garaje que hay que mantener
Solo voy a normalizar la varable AntGarage, puesto que Antigüedad ya lo estaba
total$AntGarage<-normalize(total$AntGarage)
#Recalculo
NNum<-which(sapply(total,is.numeric))
TotalNum<-total[,NNum]
TrainNum<-TotalNum%>%filter(is.na(SalePrice)==FALSE)
7. GARAGECARS Y GARAGEAREA
A pesar de que tienen relación con otras variables la mas importante es entre ellos, y puede parecer lógico puesto que el numero de coches que pueda entrar en un garaje depende directamente del espacio que este tenga
TotalNum$GarageArea<-normalize(TotalNum$GarageArea)
TotalNum$GarageCars<-normalize(TotalNum$GarageCars)
cor(x=TotalNum$GarageArea,y=TotalNum$GarageCars,method = 'spearman')[1] 0.864929La relacion es positiva. Ambas tienen una correlacion positiva y parecida con respecto al precio
TrainNum<-TotalNum%>%filter(is.na(SalePrice)==FALSE)
cor(x=TrainNum$GarageArea,y=TrainNum$SalePrice,method = 'spearman')[1] 0.649379cor(x=TrainNum$GarageCars,y=TrainNum$SalePrice,method = 'spearman')[1] 0.690711
La opcion que opto es multiplicar ambas variables puesto que GarageCars es discreta y GarageArea es continua.
GARAGETOTAL se convierte en continua, mantiene la normalización y el valor 0 para los que no tienen garaje
TrainNum$Garage2<-TrainNum$GarageArea*TrainNum$GarageCars
cor(x=TrainNum$Garage2,y=TrainNum$SalePrice,method = 'spearman')[1] 0.668591Es una correlacion media de las otras dos.
Normalizo y actualizo
total$GarageTotal<-normalize(total$GarageArea)*normalize(total$GarageCars)
#Recalculo
NNum<-which(sapply(total,is.numeric))
TotalNum<-total[,NNum]
TrainNum<-TotalNum%>%filter(is.na(SalePrice)==FALSE)
8. FIREPLACES y FIREPLACEQU
Column
Fireplaces es el numero de chimeneas
FireplacesQu es la calidad según vimos cuando se paso de categorica a ordinal
La correlacion positiva entre ellas nos indica que a medida que el numero de chimeneas aumenta también aumenta la calidad
cor(x=total$Fireplaces,y=total$FireplaceQu,method = 'kendall')[1] 0.820617
Con respecto al precio
cor(x=TrainNum$FireplaceQu,y=TrainNum$SalePrice,method='spearman')[1] 0.537602cor(x=TrainNum$Fireplaces,y=TrainNum$SalePrice,method='spearman')[1] 0.519247
La correlacion con el precio no es muy alta y ademas la correlacion entre ellas es altisima, por lo que me quedo con una y descarto la otra
Me quedo con FireplaceQu. Y la normalizo
total$FireplaceQu<-normalize(total$FireplaceQu)Column
Ademas es una relacion fuerte. Vemos un grafico
9. 1STFlRSF y TOTALBSMTSF
La correlacion entre ellos es bastante alta
cor(x=total$X1stFlrSF,y=total$TotalBsmtSF,method='spearman')[1] 0.828737
summary(total$X1stFlrSF) Min. 1st Qu. Median Mean 3rd Qu. Max.
334 876 1082 1160 1388 5095 summary(total$TotalBsmtSF) Min. 1st Qu. Median Mean 3rd Qu. Max.
0 793 989 1051 1302 6110 1stFlrSF corresponde al área del primer piso.
TotalBsmtSF es el área del sotano
Se presupone que las viviendas que tienen sotano , por lo general el área en planta del sotano es igual que el de la primera planta.
La diferencia por lo general esta en que todas las viviendas tienen primera planta, pero no todas tienen sotano
Vemos un grafico esclarecedor
Se aprecian dos líneas claramente, una siguiendo el eje de abscisas en o que son las viviendas sin sotano y la otra línea de inclinación 45º que son las viviendas que tienen el mismo área de vivienda que de sotano.
Hay que destacar que hay unas cuantas viviendas que tienen mas área de sotano que de primer piso
Vemos su correlacion con el precio
cor(x=TrainNum$X1stFlrSF,y=TrainNum$SalePrice,method='spearman')[1] 0.575408cor(x=TrainNum$TotalBsmtSF,y=TrainNum$SalePrice,method='spearman')[1] 0.602725No parece que haya una correlacion muy alta .
Vemos la corelacion con el precio gráficamente
Tenemos dos outliers en la esquina inferior derecha. Les busco y excluyo estos valores para ver si mejora
| Id | X1stFlrSF | TotalBsmtSF | SalePrice |
|---|---|---|---|
| 524 | 3138 | 3138 | 184750 |
| 1299 | 4692 | 6110 | 160000 |
TrainNum.piso<-TrainNum%>%filter(Id!=524)%>%filter(Id!=1299)Vemos de nuevo
El grafico parece que ha mejorado. Veamos numéricamente
cor(x=TrainNum.piso$X1stFlrSF,y=TrainNum.piso$SalePrice,method='spearman')[1] 0.576221cor(x=TrainNum.piso$TotalBsmtSF,y=TrainNum.piso$SalePrice,method='spearman')[1] 0.603604
#Separo las viviendas por el sotano
TrainNum.sot<-TrainNum%>%filter(TotalBsmtSF==0)%>%select(Id,X1stFlrSF,TotalBsmtSF,SalePrice)
TrainNum.piso<-TrainNum%>%filter(TotalBsmtSF>0)%>%select(Id,X1stFlrSF,TotalBsmtSF,SalePrice)Sí hay mejoria pero no parece significativa.
En principio no descarto estos registros por si afectan a otras variables
Voy a separar en la variable de área de primera planta a las viviendas que tienen sotano y las que no
Vemos graficamente
Se aprecia que las vivendas sin sotano (puntos rojos) por lo general están penalizadas en el precio, casi todas están en la parte baja de la nube.
En mi opinión se debería combinar ambas variables pero que penalizen a las viviendas sin sotano, parecido a lo que sucedia a la penalizacion en la antigüedad.
Para eso voy a sumar el área del sotano y el de la primera planta
La mayoría de las viviendas verán casi doblada su superficie, pero las viviendas sin sotano se quedan como están
Vemos graficamente
Numericamente
[1] 0.623865
total$AreaPiso<-normalize(total$X1stFlrSF+total$TotalBsmtSF)
#Recalculo
NNum<-which(sapply(total,is.numeric))
TotalNum<-total[,NNum]
TrainNum<-TotalNum%>%filter(is.na(SalePrice)==FALSE)La correlacion mejora
La distribución parece bastante parecida.
Dejamos asi la nueva variable y la normalizamos
10. GRLIVAREA FULLBATH TOTRMSABVGRD
Vemos la correlacion entre las tres
| GrLivArea | FullBath | TotRmsAbvGrd | |
|---|---|---|---|
| GrLivArea | 1.000000 | 0.662752 | 0.808775 |
| FullBath | 0.662752 | 1.000000 | 0.536076 |
| TotRmsAbvGrd | 0.808775 | 0.536076 | 1.000000 |
Estas variables corresponde a
GrLivArea pies cuadrados del área habitable sobre el nivel del suelo
FullBath baños completos por encima del suelo
TotRmsAbvGrd Total de habitaciones por encima del suelo (no incluye baños)Parece evidente una relación lógica entre la primera variable y las otras dos
Graficamente
En rojo el numero de baños y en azul el total de estancias por encima del nivel del suelo.
Todo en funcion del precio de venta de la casa
Tenemos dos outliers que con un area habitable superior a 5000 y con 12 y 15 habitaciones solo tiene 2 baños
| Id | GrLivArea | FullBath | TotRmsAbvGrd |
|---|---|---|---|
| 1299 | 5642 | 2 | 12 |
| 2550 | 5095 | 2 | 15 |
[1] "Correlacion sin outliers"| GrLivArea | FullBath | TotRmsAbvGrd | |
|---|---|---|---|
| GrLivArea | 1.000000 | 0.662584 | 0.808373 |
| FullBath | 0.662584 | 1.000000 | 0.535749 |
| TotRmsAbvGrd | 0.808373 | 0.535749 | 1.000000 |
[1] "Correlacion con outliers"| GrLivArea | FullBath | TotRmsAbvGrd | |
|---|---|---|---|
| GrLivArea | 1.000000 | 0.662752 | 0.808775 |
| FullBath | 0.662752 | 1.000000 | 0.536076 |
| TotRmsAbvGrd | 0.808775 | 0.536076 | 1.000000 |
Les descarto y compruebo como queda la matriz de correlacion
Parece que incluso ha empeorado con respecto al anterior (se muestra mas abajo)
Pero voy a verlo teniendo en cuenta el precio
[1] "Correlacion con outliers"| GrLivArea | FullBath | TotRmsAbvGrd | SalePrice | |
|---|---|---|---|---|
| GrLivArea | 1.000000 | 0.658419 | 0.827874 | 0.731310 |
| FullBath | 0.658419 | 1.000000 | 0.558665 | 0.635957 |
| TotRmsAbvGrd | 0.827874 | 0.558665 | 1.000000 | 0.532586 |
| SalePrice | 0.731310 | 0.635957 | 0.532586 | 1.000000 |
[1] "Correlacion sin outliers"| GrLivArea | FullBath | TotRmsAbvGrd | SalePrice | |
|---|---|---|---|---|
| GrLivArea | 1.000000 | 0.658246 | 0.827514 | 0.732112 |
| FullBath | 0.658246 | 1.000000 | 0.558364 | 0.636043 |
| TotRmsAbvGrd | 0.827514 | 0.558364 | 1.000000 | 0.533215 |
| SalePrice | 0.732112 | 0.636043 | 0.533215 | 1.000000 |
Se puede observar como al quitar los outliers la correlacion entre las variables que estudiamos empeoran pero mejoran todas con respecto al precio.
Lo dejamos en recordatorio como los otros outliers que hemos visto para más adelante
Podemos pensar que si consideramos los baños como una estancia mas podemos unirlo en una sola variable
| Id | HalfBath | BsmtFullBath | BsmtHalfBath |
|---|---|---|---|
| 54 | 1 | 2 | 0 |
| 189 | 2 | 2 | 0 |
| 376 | 1 | 1 | 0 |
| 598 | 2 | 0 | 2 |
| 635 | 0 | 2 | 0 |
| 917 | 0 | 1 | 0 |
| 1164 | 2 | 2 | 0 |
| 1214 | 0 | 1 | 1 |
| 1271 | 1 | 2 | 0 |
| 1860 | 2 | 2 | 0 |
| 2514 | 1 | 2 | 0 |
| 2601 | 1 | 2 | 0 |
Pregunta: ¿Qué significa que haya viviendas que no tengan baño?
Respuesta: Que tienen medios baños o baños en el sotano
En la tabla las casas que no tienen baño
Esta es la grafica de la relación entre los baños y el precio
Las vivendas sin baño están penalizadas en el precio aunque no demasiado
Si sumamos los baños como una estancia mas
#Sumamos los baños
TotalNum$estancias<-TotalNum$FullBath+TotalNum$TotRmsAbvGrd| GrLivArea | FullBath | TotRmsAbvGrd | estancias | |
|---|---|---|---|---|
| GrLivArea | 1.000000 | 0.662752 | 0.808775 | 0.852309 |
| FullBath | 0.662752 | 1.000000 | 0.536076 | 0.743707 |
| TotRmsAbvGrd | 0.808775 | 0.536076 | 1.000000 | 0.960388 |
| estancias | 0.852309 | 0.743707 | 0.960388 | 1.000000 |
Evidentemente la correlacion con las variables que la componen tiene que ser alta, pero con el area habitable mejora bastante la correlacion individual mejor que tenia antes
La correlacion de GrLivArea con FullBath es 0.662752 y con TotRmsAbvGrd es 0.808775
Con la nueva variable estancias es 0.852309
Voy a sumarle también los medios baños pero reducido a la mitad en su valor
#Sumamos los medios baños
TotalNum$estancias2<-TotalNum$FullBath+TotalNum$TotRmsAbvGrd+(TotalNum$HalfBath/2)| GrLivArea | FullBath | TotRmsAbvGrd | estancias | estancias2 | |
|---|---|---|---|---|---|
| GrLivArea | 1.000000 | 0.662752 | 0.808775 | 0.852309 | 0.865065 |
| FullBath | 0.662752 | 1.000000 | 0.536076 | 0.743707 | 0.723524 |
| TotRmsAbvGrd | 0.808775 | 0.536076 | 1.000000 | 0.960388 | 0.958442 |
| estancias | 0.852309 | 0.743707 | 0.960388 | 1.000000 | 0.991040 |
| estancias2 | 0.865065 | 0.723524 | 0.958442 | 0.991040 | 1.000000 |
Aunque empeora la correlacion con las otras variables, mejora con el area habitable que es con la que voy a combinarla y normalizarlas
Combino todo y normalizo
#Combinar con area habitable y normalizar
TotalNum$Habitat<-normalize(TotalNum$estancias2*TotalNum$GrLivArea)
#Comparamos con precio
TrainNum<-TotalNum%>%filter(is.na(SalePrice)==FALSE)| GrLivArea | FullBath | TotRmsAbvGrd | estancias | Habitat | SalePrice | |
|---|---|---|---|---|---|---|
| GrLivArea | 1.000000 | 0.658419 | 0.827874 | 0.860974 | 0.974100 | 0.731310 |
| FullBath | 0.658419 | 1.000000 | 0.558665 | 0.751499 | 0.714628 | 0.635957 |
| TotRmsAbvGrd | 0.827874 | 0.558665 | 1.000000 | 0.964700 | 0.916140 | 0.532586 |
| estancias | 0.860974 | 0.751499 | 0.964700 | 1.000000 | 0.948747 | 0.618233 |
| Habitat | 0.974100 | 0.714628 | 0.916140 | 0.948747 | 1.000000 | 0.704260 |
| SalePrice | 0.731310 | 0.635957 | 0.532586 | 0.618233 | 0.704260 | 1.000000 |
#Crear variable y normalizar
total$Habitat<-normalize((total$FullBath+total$TotRmsAbvGrd+(total$HalfBath/2))*total$GrLivArea)Como el numero de estancias es cuasidiscreto (por tener medios baños) y el area habitable es continuo multiplico ambos para obtener una nueva variable Habitat continua
La nueva variable esta mucho mas correlacionada con las tres variables originales y además se acerca bastante a la variable original de mayor correlacion con el precio
Creamos en dataset conjunto y normalizamos
11. NORMALIZACION DE RESTO DE VARIABLES
GarageFinish acabado interior del garaje
KitchenQual calidad de la cocina
BsmtQual Altura del sótano
ExterQual calidad del material exterior
OverallQual material general y calidad de acabado
Son todas variables ordinales que indican distintos acabados/calidades de la vivienda
Es razonable pensar que junto con otras variables que no aparecen por no estar tan relacionadas, mantengan una correspondencia al nivel general de calidad de la vivienda y este está asociado al precio de manera importante.
En mi opinión no tiene justificación lógica el combinar varias de estas variables puesto que no tienen una relación causal a pesar de que tengan una correlacion importante
Las normalizamos
total$GarageFinish<-normalize(total$GarageFinish)
total$KitchenQual<-normalize(total$KitchenQual)
total$BsmtQual<-normalize(total$BsmtQual)
total$ExterQual<-normalize(total$ExterQual)
total$OverallQual<-normalize(total$OverallQual)12. CONCLUSION
De todas las variables cuantitativas nos quedamos con las siguientes:
Antiguedad AntGaraje GarageTotal FirePlaceQu AreaPiso Habitat GarageFinish KitchenQual BsmtQual ExterQual OverallQual
De un total de 51 variables numéricas del dataset (excluyendo la identificación Id y el precio de venta SalePrice) hemos reducido las variables predictoras a 11
1. TIPOFACTORES
Column
CONDICIONES PREVIAS
El paqueteFactoMineR tiene varias opciones interesantes para realizar distintas métodos de analisis de datos y entre ellos tiene un método llamado condes() que sirve para describir una variable continua en función de variables continuas y/o categóricas #Buscamos categorias mas proximas a SalePrice
options(digits=12)
fact1<-condes(TrainFact,num.var = 30)
Esto nos genera una lista de tres elementos (como maximo)
Una matriz con las variables cualitativas ordenadas por
R²Una matriz con las variables cuantitativas ordenadas por correlacion
Una matriz con los coeficientes de cada categoría de las variables cualitativas que cumplen con el
p-valueasignado
Nuestro interés esta en la primera matriz.
Teniendo en cuenta que para la selección de las variables cuantitativas significativas poníamos como criterio que la correlacion debía ser superior a 0.5, entonces en este casoR²> (0.5)²=0.25 .
Ese es el limite que ponemos
VARIABLES
Estas son las variables
#Estas son las variables
fact1.cuali<-as.data.frame(fact1[[1]])| R2 | p.value | |
|---|---|---|
| Neighborhood | 0.545574990810 | 0.000000000000 |
| Foundation | 0.256368401530 | 0.000000000000 |
| GarageType | 0.249204230504 | 0.000000000000 |
| MSSubClass | 0.246315972818 | 0.000000000000 |
| MasVnrType | 0.180235182646 | 0.000000000000 |
| SaleCondition | 0.135497476871 | 0.000000000000 |
| Exterior1st | 0.152773123142 | 0.000000000000 |
| Exterior2nd | 0.153829860125 | 0.000000000000 |
| SaleType | 0.137287486979 | 0.000000000000 |
| MSZoning | 0.107559683446 | 0.000000000000 |
| HouseStyle | 0.086312627304 | 0.000000000000 |
| CentralAir | 0.063165845939 | 0.000000000000 |
| Electrical | 0.059650931845 | 0.000000000000 |
| PavedDrive | 0.054539728331 | 0.000000000000 |
| RoofStyle | 0.057696630128 | 0.000000000000 |
| Fence | 0.035614716819 | 0.000000000094 |
| BldgType | 0.034534026889 | 0.000000000206 |
| LandContour | 0.025794085461 | 0.000000027422 |
| RoofMatl | 0.031413123044 | 0.000000072314 |
| Condition1 | 0.032630639960 | 0.000000089045 |
| Alley | 0.020407544901 | 0.000000299638 |
| LotConfig | 0.021019364538 | 0.000003163167 |
| Functional | 0.016480385721 | 0.000484169680 |
| Heating | 0.014437135426 | 0.000753472106 |
| MiscFeature | 0.007079752947 | 0.035003671875 |
| Condition2 | 0.009899160716 | 0.043425658361 |
RESUMEN
Si vemos las variables solo hay dos que superan unR² de 0.25, pero teniendo en cuenta que como en las variables numéricas no había normalidad y para la correlacion use el método de Spearman que suele dar un valor ligeramente superior al de Pearson, en este caso voy a escoger también las dos variables que se han quedado a las puertas con 0.24 En resumen :
`Neighborhood` ubicaciones físicas dentro de los límites de la ciudad de Ames
Tiene 25 categorias
`MSSubClass` la clase de construcción. Tiene 16 categorias
`Foundation` tipo de cimientos. Tiene 6 categorias
`GarageType` ubicación del garaje Tiene 7 categorias
Son un total de 54 categorias.
Si usamos one hot encoding suponen (25-1)+(16-1)+(6-1)+(7-1)=50 nuevas variables a añadir a las 11 numericas que ya tenemos.
Hay que reducirlas
Las revisamos
2. NEIGHBORHOOD (Vecindario)
Esta variable tiene 25 categorias. Veamos grafica y ordenadamente por la media
En cada columna aparecen las observaciones
Veamos grafica y ordenadamente por la mediana
En cada columna aparecen las observaciones
Voy a intentar reducir las variables.
Para eso voy a utilizar una clasificación jerarquica aglomerativa sencilla mediante hclust
Voy a realizar varias clasificaciones y recalcular el coeficiente de determinación que quedaria antes de decidir .
Los clusters que elegimos van de 3 a 8 agrupaciones
Los resultados los presento juntas las cuatro variables en 6. CONCLUSIONES
Dendograma segun medias
Dendograma segun medianas
3. FOUNDATION (Cimientos)
Esta variable tiene 6 categorias. Veamos grafica y ordenadamente por la media
En cada columna aparecen las observaciones
Veamos grafica y ordenadamente por la mediana
En cada columna aparecen las observaciones
Realizamos la misma operación que con el vecindario, solo que aquí tenemos 6 grupos por lo que los cluster que elegimos van de 2 a 5
Los resultados los presento juntas las cuatro variables en 6. CONCLUSIONES
Dendograma segun medias
Dendograma segun medianas
4. GARAGETYPE (Ubicacion del garage)
Esta variable tiene 7 categorias. Veamos grafica y ordenadamente por la media y la mediana
En cada columna aparecen las observaciones
Veamos grafica y ordenadamente por la mediana
En cada columna aparecen las observaciones
Realizamos la misma operación que con el vecindario, solo que aquí tenemos 7 grupos por lo que los cluster que elegiremos van de 2 a 5
Los resultados los presento juntas las cuatro variables en 6. CONCLUSIONES
Dendograma segun medias
Dendograma segun medianas
5. MSSUBCLASS (CLase de construccion)
Esta variable tiene 16 categorias. Veamos grafica y ordenadamente por la media
En cada columna aparecen las observaciones
Veamos grafica y ordenadamente por la mediana
En cada columna aparecen las observaciones
Esta variable es mas peculiar.
Veamosla mas detenidamente
Vemos sus categorías y apariciones
| Var1 | Freq |
|---|---|
| 1-STORY 1946 & NEWER ALL STYLES | 536 |
| 1-STORY 1945 & OLDER | 69 |
| 1-STORY W/FINISHED ATTIC ALL AGES | 4 |
| 1-1/2 STORY - UNFINISHED ALL AGES | 12 |
| 1-1/2 STORY FINISHED ALL AGES | 144 |
| 2-STORY 1946 & NEWER | 299 |
| 2-STORY 1945 & OLDER | 60 |
| 2-1/2 STORY ALL AGES | 16 |
| SPLIT OR MULTI-LEVEL | 58 |
| SPLIT FOYER | 20 |
| DUPLEX - ALL STYLES AND AGES | 52 |
| 1-STORY PUD (Planned Unit Development) - 1946 & NEWER | 87 |
| 1-1/2 STORY PUD - ALL AGES | 0 |
| 2-STORY PUD - 1946 & NEWER | 63 |
| PUD - MULTILEVEL - INCL SPLIT LEV/FOYER | 10 |
| 2 FAMILY CONVERSION - ALL STYLES AND AGES | 30 |
Tenemos una categoria con 0 casos en el Train
Buscamos en el dataset Test
| Var1 | Freq |
|---|---|
| 1-STORY 1946 & NEWER ALL STYLES | 543 |
| 1-STORY 1945 & OLDER | 70 |
| 1-STORY W/FINISHED ATTIC ALL AGES | 2 |
| 1-1/2 STORY - UNFINISHED ALL AGES | 6 |
| 1-1/2 STORY FINISHED ALL AGES | 143 |
| 2-STORY 1946 & NEWER | 276 |
| 2-STORY 1945 & OLDER | 68 |
| 2-1/2 STORY ALL AGES | 7 |
| SPLIT OR MULTI-LEVEL | 60 |
| SPLIT FOYER | 28 |
| DUPLEX - ALL STYLES AND AGES | 57 |
| 1-STORY PUD (Planned Unit Development) - 1946 & NEWER | 95 |
| 1-1/2 STORY PUD - ALL AGES | 1 |
| 2-STORY PUD - 1946 & NEWER | 65 |
| PUD - MULTILEVEL - INCL SPLIT LEV/FOYER | 7 |
| 2 FAMILY CONVERSION - ALL STYLES AND AGES | 31 |
Id del nivel buscado
Id
1 2819Tiene 1 caso, luego no se puede eliminar directamente de todo el conjunto, pero si debemos NO tomarlo en consideracion para la reduccion de variables porque si no trastornaria todos los calculos
Descarto este level para el calculo
| Var1 | Freq |
|---|---|
| 1-STORY 1946 & NEWER ALL STYLES | 536 |
| 1-STORY 1945 & OLDER | 69 |
| 1-STORY W/FINISHED ATTIC ALL AGES | 4 |
| 1-1/2 STORY - UNFINISHED ALL AGES | 12 |
| 1-1/2 STORY FINISHED ALL AGES | 144 |
| 2-STORY 1946 & NEWER | 299 |
| 2-STORY 1945 & OLDER | 60 |
| 2-1/2 STORY ALL AGES | 16 |
| SPLIT OR MULTI-LEVEL | 58 |
| SPLIT FOYER | 20 |
| DUPLEX - ALL STYLES AND AGES | 52 |
| 1-STORY PUD (Planned Unit Development) - 1946 & NEWER | 87 |
| 2-STORY PUD - 1946 & NEWER | 63 |
| PUD - MULTILEVEL - INCL SPLIT LEV/FOYER | 10 |
| 2 FAMILY CONVERSION - ALL STYLES AND AGES | 30 |
Podemos ver que ya no figura
Realizamos la misma operación que con el vecindario, solo que aquí tenemos 16 (15 con la que no tratamos transitoriamente) grupos por lo que los cluster que elegiremos van de 3 a 8
Los resultados los presento juntas las cuatro variables en 6. CONCLUSIONES
Dendograma segun medias
Dendograma segun medianas
6. CONCLUSIONES
CRITERIOS
He obtenido en las siguientes tablas los coeficientes de determinación de las variables agrupadas en diferentes clusters.
Tambien figura el valor del que partíamos bajo el epigrafe Todos
La idea es optimizar el numero que nos quedaremos teniendo en cuenta que ya tenemos 11 variables numéricas
Lo primero mas destacable que se observa es que no hay diferencias tomando la media o la mediana de los precios en la variable GarageType.
Esto se explica porque el dendograma es idéntico en ambos supuestos. Aqui se puede ver
Lo segundo que destaca es que en la gran mayoría de los supuestos tomar como referencia la media del precio suele ser mejor que hacerlo con la mediana. La diferencia es positiva en la mayoría de los casos.
Descartamos trabajar con la mediana
Como criterios:
En primer lugar seguir el orden asignado por el coeficiente de determinación general. Tendran preferencias las categorías de
Neighborhood, sobre el resto, luegoFoundation,GarageTypey por ultimoMSSubClassLuego elegir aquel agrupamiento en que el paso a un numero de cluster menor suponga una diferencia muy superior a la que supuso el paso anterior (de un numero de clusters mayor). Veremos todo en una tabla con una vista mas amigable
NEIGHBORHOOD (Vecindario)
| Numero clusters | R2 Media | R2 Mediana | Diferencia_Media_Mediana |
|---|---|---|---|
| 3 | 0.510288922673946 | 0.510288922673946 | 0 |
| 4 | 0.520752826029343 | 0.519728064432752 | 0.00102476159659104 |
| 5 | 0.534661463050312 | 0.533467614063988 | 0.00119384898632402 |
| 6 | 0.536798653780542 | 0.533811092372337 | 0.002987561408205 |
| 7 | 0.541121980460839 | 0.539159180649222 | 0.00196279981161707 |
| 8 | 0.542448822452204 | 0.54101354304445 | 0.00143527940775401 |
| Todos | 0.545574990809563 | 0.545574990809563 | 0 |
Marco la fila de las casillas de salto mas grandes en amarillo.
Elegir el valor de cluster anterior es una buena forma de comenzar
En este caso son 4 clusters y elegimos 5
FOUNDATION (Cimientos)
| Numero clusters | R2 Media | R2 Mediana | Diferencia_Media_Mediana |
|---|---|---|---|
| 2 | 0.0568254698693131 | 0.247754678851469 | -0.190929208982156 |
| 3 | 0.254395725745173 | 0.248262307945321 | 0.00613341779985199 |
| 4 | 0.2548092461983 | 0.252170668995711 | 0.00263857720258898 |
| 5 | 0.256199967397587 | 0.255658927697032 | 0.000541039700554968 |
| Todos | 0.256368401530415 | 0.256368401530415 | 0 |
Descartamos primero aquellas con un coeficiente muy bajo.
Las tacho en naranja. Ese es el minimo
En este caso 2 clusters
Marco la fila de las casillas de salto mas grandes en amarillo. Elegir el valor de cluster anterior es una buena forma de comenzar
En este caso son 4 clusters y elegimos 5
GARAGETYPE (Ubicacion del garage)
| Numero clusters | R2 Media | R2 Mediana | Diferencia_Media_Mediana |
|---|---|---|---|
| 2 | 0.216280939876281 | 0.216280939876281 | 0 |
| 3 | 0.224281569646271 | 0.224281569646271 | 0 |
| 4 | 0.247622864331931 | 0.247622864331931 | 0 |
| 5 | 0.249122673737389 | 0.249122673737389 | 0 |
| Todos | 0.249204230504291 | 0.249204230504291 | 0 |
Descartamos primero aquellas con un coeficiente muy bajo.
Las tacho en naranja. Ese es el minimo
En este caso 3 clusters
Marco la fila de las casillas de salto mas grandes en amarillo. Elegir el valor de cluster anterior es una buena forma de comenzar
En este caso son 3 clusters. El mismo que techamos en naranja. Elegimos 4
MSSubClass (Clase de construccion)
| Numero clusters | R2 Media | R2 Mediana | Diferencia_Media_Mediana |
|---|---|---|---|
| 3 | 0.174786074913226 | 0.188741697652476 | -0.01395562273925 |
| 4 | 0.235584333942853 | 0.230629760361157 | 0.00495457358169599 |
| 5 | 0.239410301887266 | 0.241858637138703 | -0.00244833525143701 |
| 6 | 0.243776881430928 | 0.241878911205326 | 0.00189797022560198 |
| 7 | 0.245698829986421 | 0.241915556005449 | 0.003783273980972 |
| 8 | 0.24576269922555 | 0.242459440131863 | 0.00330325909368701 |
| Todos | 0.246315972817565 | 0.246315972817565 | 0 |
Descartamos primero aquellas con un coeficiente muy bajo.
Las tacho en naranja. Ese es el minimo
En este caso 3 clusters
Marco la fila de las casillas de salto mas grandes en amarillo. Elegir el valor de cluster anterior es una buena forma de comenzar
En este caso son 5 clusters. Elegimos 6
PRIMERA CONCLUSION
Tenemos que la primera elección es :
Vecinos: 5 clusters sobre 25 categorias Correlacion ~0.7312
Cimientos 5 clusters sobre 6 categorias Correlacion ~0.5061
Garaje 4 clusters sobre 7 categorias Correlacion~0.4976
Clases 6 clusters sobre 16 categorias Correlacion ~0.4937
Son un total de 20 categorias.
En las dos ultimas (Garage y Clases ) parece difícil reducir mas sin que haya una perdida importante, y ya están muy al limite.
Quizas podríamos reducir uno o dos mas en Cimientos, pero la cantidad de 31 variables numéricas , entre las originales y las reconvertidas puede ser una buena cifra
Para realizar la actualización recuperamos parte del código con el numero cluster que hemos decidido enNeighborhood,FoundationyGarageType.
MODIFICACION EN MSSUBCLASS.
Para el caso de la variable MSSubClass tenemos que recordar que para hacer la agrupación teníamos una categoría que se encontraba en el dataset Test pero no en el Train, luego dejamos esa categoría apartada , pero ahora hay que introducirla manualmente en un cluster.
Para encontrar en que cluster voy a buscar registros con ciertas variables muy correlacionadas con el objetivo y que se parezcan a las del que buscamos.
Voy a usar las variables numéricas Habitat, AreaPiso y OverallQual
Primero identificaremos el registro del Test
| Id | AreaPiso | Habitat | OverallQual |
|---|---|---|---|
| 2819 | 0.09323653 | 0.17182298 | 0.66666667 |
A continuacion escogemos las ventanas de los parametros para el filtrado
0.06<AreaPiso<0.12
0.16<Habitat<0.18
0.6<OverallQual<0.7
Filtramos por aproximacion a estas variables
prue<-total%>%filter(OverallQual>0.6 & OverallQual<0.7)%>%select(Id,AreaPiso,Habitat,MSSubClass)
prue<-prue%>%filter(AreaPiso>0.06 & AreaPiso<0.12)
prue<-prue%>%filter(Habitat>0.16 & Habitat<0.18)%>%select(Id,MSSubClass)| Var1 | Freq |
|---|---|
| 1-STORY 1946 & NEWER ALL STYLES | 0 |
| 1-STORY 1945 & OLDER | 0 |
| 1-STORY W/FINISHED ATTIC ALL AGES | 0 |
| 1-1/2 STORY - UNFINISHED ALL AGES | 0 |
| 1-1/2 STORY FINISHED ALL AGES | 0 |
| 2-STORY 1946 & NEWER | 9 |
| 2-STORY 1945 & OLDER | 0 |
| 2-1/2 STORY ALL AGES | 0 |
| SPLIT OR MULTI-LEVEL | 1 |
| SPLIT FOYER | 0 |
| DUPLEX - ALL STYLES AND AGES | 0 |
| 1-STORY PUD (Planned Unit Development) - 1946 & NEWER | 0 |
| 1-1/2 STORY PUD - ALL AGES | 1 |
| 2-STORY PUD - 1946 & NEWER | 0 |
| PUD - MULTILEVEL - INCL SPLIT LEV/FOYER | 0 |
| 2 FAMILY CONVERSION - ALL STYLES AND AGES | 0 |
Hay 11 registros con campos parecidos, incluido el que buscamos.
La gran mayoría 9 tienen en MSSubClass-> 2-STORY 1946 & NEWER.
Donde esté esta categoría agrupada pondremos la que nos falta con parte del mismo codigo usado en las variables anteriores
Modificacion especial
Hasta aquí es todo igual en el codigo que en n las variables anteriores.
Vamos a buscar en que grupo queda 2-STORY 1946 & NEWER que es donde hay que meter el nivel de factor que nos falta
| train.dat | V2 |
|---|---|
| 1-STORY 1946 & NEWER ALL STYLES | Clase1 |
| 1-STORY 1945 & OLDER | Clase2 |
| 1-STORY W/FINISHED ATTIC ALL AGES | Clase3 |
| 1-1/2 STORY - UNFINISHED ALL AGES | Clase2 |
| 1-1/2 STORY FINISHED ALL AGES | Clase3 |
| 2-STORY 1946 & NEWER | Clase4 |
| 2-STORY 1945 & OLDER | Clase5 |
| 2-1/2 STORY ALL AGES | Clase1 |
| SPLIT OR MULTI-LEVEL | Clase5 |
| SPLIT FOYER | Clase3 |
| DUPLEX - ALL STYLES AND AGES | Clase6 |
| 1-STORY PUD (Planned Unit Development) - 1946 & NEWER | Clase1 |
| 2-STORY PUD - 1946 & NEWER | Clase6 |
| PUD - MULTILEVEL - INCL SPLIT LEV/FOYER | Clase2 |
| 2 FAMILY CONVERSION - ALL STYLES AND AGES | Clase6 |
Es el elemento numero 6 que corresponde al cluster Clase4
levels(total$MSSubClass) [1] "1-STORY 1946 & NEWER ALL STYLES"
[2] "1-STORY 1945 & OLDER"
[3] "1-STORY W/FINISHED ATTIC ALL AGES"
[4] "1-1/2 STORY - UNFINISHED ALL AGES"
[5] "1-1/2 STORY FINISHED ALL AGES"
[6] "2-STORY 1946 & NEWER"
[7] "2-STORY 1945 & OLDER"
[8] "2-1/2 STORY ALL AGES"
[9] "SPLIT OR MULTI-LEVEL"
[10] "SPLIT FOYER"
[11] "DUPLEX - ALL STYLES AND AGES"
[12] "1-STORY PUD (Planned Unit Development) - 1946 & NEWER"
[13] "1-1/2 STORY PUD - ALL AGES"
[14] "2-STORY PUD - 1946 & NEWER"
[15] "PUD - MULTILEVEL - INCL SPLIT LEV/FOYER"
[16] "2 FAMILY CONVERSION - ALL STYLES AND AGES"
1-1/2 STORY PUD - ALL AGES tiene que ir en la posicion numero 13.
#Añado el level
levels(train.dat$train.dat)<-c(levels(train.dat$train.dat),'1-1/2 STORY PUD - ALL AGES')
#Añado la fila
train.dat<-rbind(train.dat,c('1-1/2 STORY PUD - ALL AGES','Clase4'))
#Cojo levels originales como vector
lev<-as.vector(levels(total$MSSubClass))
#Comparo y ordeno
train.dat<-train.dat[match(lev,train.dat$train.dat),]
#Ya estan ordenados los level y los valores que les sutituyen
levels(TotalFact$MSSubClassMean4)<-train.dat$V2
total$Clases<-TotalFact$MSSubClassMean4
1. INTRODUCCION
Para buscar el modelo que mas conviene tomar para realizar la prediccion que se pide voy a dividir el conjunto de predictores en varias partes.
Por un lado aquellos predictores que son desde el origen numéricos y que además son continuos o discretos con un numero amplio de intervalos
Son :Antiguedad, AntGarage, AreaPiso, GarageTotal, Habitat y OverallQual
En otro grupo los predictores numéricos de origen ordinal con un numero pequeño de intevalos.
Son : BsmtQual, ExterQual, FireplaceQu, GarageFinish y KitchenQual
En el ultimo grupo los predictores de origen categoricos
Son : Neighborhood, Foundation, GarageType y MSSubClass
Esta división solo la hago en sentido grafico para apreciar mejor las diversas características
Voy a aplicar un modelo lineal multiple, uno polinómico, otro suavizado tipo Loess y uno suavizado con curvas Spline y vamos a comparar en cada variable con respecto a la objetivo SalePrice
Aunque el grafico es muy completo entre toda las variables solos nos interesa la fila inferior donde aparecen los graficos de cada predictor en función del objetivo
Podemos ver también en las primeras graficas en la columna mas a la derecha el valor de correlacion de SalePrice con el resto de variables
2. NUMERICAS Continuas
Vision de conjunto 1
Modelo Lineal (lm)-Cyan
Suavizado Local(Loess)-Rojo
Vision de conjunto 2
B Splines (bs)-Purpura
Modelo lineal polinomico (poly)-Naranja
Vision de conjunto 3
B Splines (bs)-Verde
Suavizado Local(Loess)-Rojo
ANTIGUEDAD
Regresion: Modelo Lineal (lm)-Cyan y Suavizado Local(Loess)-Rojo
Se adapta mejor la curva suavizada que la recta
ANTIGUEDAD GARAGE (AntGarage)
Regresion: Modelo Lineal (lm)-Cyan y Suavizado Local(Loess)-Rojo
La especificidad de los datos (como poner antigüedad a los que no tienen garaje) hace que salga una grafica extraña, pero me decanto por el modelo lineal
AREAPISO
Regresion: Modelo Lineal (lm)-Cyan y Suavizado Local(Loess)-Rojo
Los outliers hacen que las curvas no sirvan, pero sin ellos podria ser la opcion adecuada
GARAGETOTAL
Regresion: Modelo Lineal (lm)-Cyan y Suavizado Local(Loess)-Rojo
Los outliers hacen que las curvas no sirven, pero sin ellos podrian ser la opcion
HABITAT
Regresion: Modelo Lineal (lm)-Cyan y Suavizado Local(Loess)-Rojo
Los outliers hacen que las curvas no sirven, pero sin ellos podrian ser la opcion
OVERALLQUALL . material general y calidad de acabado
Regresion: Modelo Lineal (lm)-Cyan y Suavizado Local(Loess)-Rojo
Pasa algo parecido que con la antigüedad. Se adapta mejor una curva
ANTIGUEDAD: COMPARATIVA DE CURVAS
Regresion:
B Splines (bs)-Verde
Suavizado Local(Loess)-Rojo
Hay pequeñas diferencias pero no son apreciables para decantarse por un modelo . Lo veremos numericamente
OVERALLQUALL: COMPARATIVA DE CURVAS
Regresion:
B Splines (bs)-Verde
Suavizado Local(Loess)-Rojo
Hay pequeñas diferencias pero no son apreciables para decantarse por un modelo . Lo veremos numericamente
3. NUMERICAS discretas
Vision de conjunto 1
Regresion: Modelo Lineal (lm)-Cyan
Suavizado Local(Loess)-Rojo
El metodo de regresion local LOESS no es aceptable en estas variables
Vision de conjunto 2
Regresion: B Splines (bs)-Purpura
Modelo lineal polinomico (poly)-Naranja
Vision de conjunto 3
Regresion: Modelo lineal con intervalo de confianza - Purpura
BSMTQUAL . Altura del sotano
Regresion:
B Splines (bs)-Purpura
Modelo lineal polinomico (poly)-Naranja
Se adapta mejor la curva suavizada que la recta
EXTERQUAL . Calidad del material exterior
Regresion:
B Splines (bs)-Purpura
Modelo lineal polinomico (poly)-Naranja
Se adapta mejor la curva suavizada que la recta
FIREPLACEQU . Calidad de la chimenea
Regresion:
B Splines (bs)-Purpura
Modelo lineal polinomico (poly)-Naranja
No esta tan claro que tipo se adapta mejor. Se vera numericamente
GARAGEFINISH . Acabado interior del garage
Regresion:
B Splines (bs)-Purpura
Modelo lineal polinomico (poly)-Naranja
No esta tan claro que tipo se adapta mejor. Se vera numericamente
KITCHENQUAL . Calidad de la cocina
Regresion:
B Splines (bs)-Purpura
Modelo lineal polinomico (poly)-Naranja
Se adapta mejor la curva suavizada que la recta
4. CATEGORICAS
Vision de conjunto 1
Boxplots
En cuanto a las variables categoricas , no se puede hacer ningún análisis grafico de lineas de regresion por la propia composición de la variable.
Si podemos ver una matriz de graficos de sus variables origen ordenadas por la variable destino
Vision de conjunto 2
Nubes de puntos
Neighborhood . Vecindario
Ordenadas las categorias por la media respecto a la variable objetivo y colocadas parece existir cierta linealidad
Foundation . Cimientos
Ordenadas las categorias por la media respecto a la variable objetivo y colocadas parece existir cierta linealidad
GarageType . Ubicacion del garage
Ordenadas las categorias por la media respecto a la variable objetivo y colocadas parece existir cierta linealidad
MSSubClass . Clase de construccion
Ordenadas las categorias por la media respecto a la variable objetivo y colocadas parece existir cierta linealidad
Vemos ahora con la agrupación de clusters y ordenadas
Neighborhood . Vecindario
5 clusters
Mantenemos la aparente linealidad que teníamos antes de agrupar las categorias
Foundation . Cimientos
5 clusters
Mantenemos la aparente linealidad que teníamos antes de agrupar las categorias
Es posible eliminar un cluster mas en Cimientos como se había apuntado, pero ahora se ve mejor
GarageType . Ubicacion del garage
4 clusters
Mantenemos la aparente linealidad que teníamos antes de agrupar las categorias
MSSubClass . Clase de construccion
6 clusters
Mantenemos la aparente linealidad que teníamos antes de agrupar las categorias
Foundation
Resultados para 3, 4 y 5 clusters
Foundation . Cimientos
5 clusters
Foundation . Cimientos
4 clusters
Foundation . Cimientos
3 clusters
Conclusion
| Numero clusters | R2 Media | R2 Mediana | Diferencia_Media_Mediana |
|---|---|---|---|
| 2 | 0.0568254698693131 | 0.247754678851469 | -0.190929208982156 |
| 3 | 0.254395725745173 | 0.248262307945321 | 0.00613341779985199 |
| 4 | 0.2548092461983 | 0.252170668995711 | 0.00263857720258898 |
| 5 | 0.256199967397587 | 0.255658927697032 | 0.000541039700554968 |
| Todos | 0.256368401530415 | 0.256368401530415 | 0 |
Graficamente la mejor opcion es n=3.
Ademas vimos en la sección anterior que no había tanta diferencia
Transformación de las categorías de las variables no numéricas en variables dummy
#Columnas con valores categoricos
NFact<-which(sapply(total,is.factor))
TotalFact1<-total[,NFact]
#Añado variables numericas Id y SalePrice
TotalFact1$Id<-total$Id
#Conversion a Dummys
Total.dummy.B<-TotalFact1%>%select(Id,B=Vecindario)
Total.dummy.C<-TotalFact1%>%select(Id,C=Cimientos)
Total.dummy.G<-TotalFact1%>%select(Id,G=UbicaGarage)
Total.dummy.N<-TotalFact1%>%select(Id,N=Clases)
modelo1.B<-as.data.frame(model.matrix(~.,Total.dummy.B))
modelo1.C<-as.data.frame(model.matrix(~.,Total.dummy.C))
modelo1.G<-as.data.frame(model.matrix(~.,Total.dummy.G))
modelo1.N<-as.data.frame(model.matrix(~.,Total.dummy.N))
modelo1.B$`(Intercept)`<-NULL
modelo1.C$`(Intercept)`<-NULL
modelo1.G$`(Intercept)`<-NULL
modelo1.N$`(Intercept)`<-NULL
modelo1<-modelo1.B
modelo1<-cbind(modelo1,modelo1.C%>%select(-Id))
modelo1<-cbind(modelo1,modelo1.G%>%select(-Id))
modelo1<-cbind(modelo1,modelo1.N%>%select(-Id))
#Modelo con dummys
Cuant<-total%>%select(Antiguedad,AntGarage,AreaPiso,BsmtQual,ExterQual,FireplaceQu,GarageFinish,GarageTotal,Habitat,KitchenQual,OverallQual,SalePrice)
modelo1.dummy<-cbind(modelo1,Cuant)
#Modelo con variables categoricas
Total.dummy<-total%>%select(Id,Vecindario,Cimientos,UbicaGarage,Clases)
modelo1.Nodummy<-cbind(Total.dummy,Cuant)5. OUTLIERS
VALORES YA REVISADOS
Si recordamos encontramos dos valores outliers .
El registro 524 que tenia discordancia entre los años de construcción, remodelación y venta (corregido) y además tenia un precio muy bajo para el área habitable en sotano y primer piso.
Eso mismo le pasaba al registro 1299 que tenia un precio muy bajo para el área habitable y además no tenia proporción entre el área habitable, las habitaciones y los baños
En principio tenia pensado dejarles por que además en común con estos dos teniamos el registro 2550 que tenia discordancia en los años y falta de proporción entre el área habitable, las habitaciones y los baños, y este registro esta en el Test, pero he creido mas conveniente eliminarles de los datos
Antes de eliminarlos vamos a comprobar que posición ocupan en las variables numéricas normalizadas porque si son el valor extremo, máximo o minimo , al eliminarlo deberemos volver a normalizar esa variable con el nuevo extremo
COMPROBACION Y NORMALIZACION
| Id | Antiguedad | AntGarage | AreaPiso | GarageTotal | Habitat | OverallQual |
|---|---|---|---|---|---|---|
| 524 | 0 | 0 | 0.5676347 | 0.35645161 | 0.75770895 | 1 |
| Id | Antiguedad | AntGarage | AreaPiso | GarageTotal | Habitat | OverallQual |
|---|---|---|---|---|---|---|
| 1299 | 0 | 0 | 1 | 0.3811828 | 0.91658963 | 1 |
#Eliminacion registros y normalizado AreaPiso en ambos dataset
modelo1.dummy<-modelo1.dummy%>%slice()%>%filter(Id!=524)
modelo1.dummy<-modelo1.dummy%>%slice()%>%filter(Id!=1299)
modelo1.dummy$AreaPiso<-normalize(modelo1.dummy$AreaPiso)
modelo1.Nodummy<-modelo1.Nodummy%>%slice()%>%filter(Id!=524)
modelo1.Nodummy<-modelo1.Nodummy%>%slice()%>%filter(Id!=1299)
modelo1.Nodummy$AreaPiso<-normalize(modelo1.Nodummy$AreaPiso)
modelo1.Nodummy.train<-modelo1.Nodummy%>%filter(is.na(SalePrice)==FALSE)%>%select(AreaPiso,GarageTotal,Habitat,SalePrice)Tanto Antigüedad como AntGarage ,y OverallQuall tienen varios registros con el mismo valor que el que vamos a eliminar, .
Sin embargo en AreaPiso el registro 1299 es el máximo. Cuando le eliminemos hay que normalizar de nuevo
Realizaremos una comprobacion grafica de las variables mas afectadas por los outliers que vimos en la seccion anterior
Afectaban sobre todo a AreaPiso, GarageTotal y Habitat.
AreaPiso antes
Con los outliers que distorsionaban la curva
AreaPiso despues
Han mejorado
GarageTotal antes
Con los outliers que distorsionaban la curva
GarageTotal despues
Tenemos otros outliers que aparecen en GarageTotal
Habitat antes
Con los outliers que distorsionaban la curva
Habitat despues
Han mejorado
Seleccionamos los outliers que aparecian en GarageTotal y vemos su influencia en AreaPiso (puntos en rojo)
No tienen una gran influencia, ni su mantenimiento, ni su eliminacion
Seleccionamos los outliers que aparecian en GarageTotal y vemos su influencia en Habitat (puntos en rojo)
No tienen una gran influencia, ni su mantenimiento, ni su eliminacion
Los eliminamos, actualizamos, normalizamos y volvemos a revisar los graficos
| Id |
|---|
| 582 |
| 1062 |
| 1191 |
| 1351 |
#Eliminacion registros y normalizado AreaPiso en ambos dataset
modelo1.dummy<-modelo1.dummy%>%slice()%>%filter(Id!=582)
modelo1.dummy<-modelo1.dummy%>%slice()%>%filter(Id!=1062)
modelo1.dummy<-modelo1.dummy%>%slice()%>%filter(Id!=1191)
modelo1.dummy<-modelo1.dummy%>%slice()%>%filter(Id!=1351)
modelo1.dummy$AreaPiso<-normalize(modelo1.dummy$AreaPiso)
modelo1.Nodummy<-modelo1.Nodummy%>%slice()%>%filter(Id!=582)
modelo1.Nodummy<-modelo1.Nodummy%>%slice()%>%filter(Id!=1062)
modelo1.Nodummy<-modelo1.Nodummy%>%slice()%>%filter(Id!=1191)
modelo1.Nodummy<-modelo1.Nodummy%>%slice()%>%filter(Id!=1351)
modelo1.Nodummy$AreaPiso<-normalize(modelo1.Nodummy$AreaPiso)
modelo1.Nodummy.train<-modelo1.Nodummy%>%filter(is.na(SalePrice)==FALSE)%>%select(AreaPiso,GarageTotal,Habitat,SalePrice)Volvemos a cargar los graficos y comparamos
AreaPiso antes segundos outliers
AreaPiso despues segundos outliers
GarageTotal antes segundos outliers
Con los outliers que distorsionaban la curva
GarageTotal despues segundos outliers
Vemos como ha mejorado bastante
Habitat antes segundos outliers
Habitat despues segundos outliers
1. FILTRADO
Vamos a realizar un filtrado de las variables mediante el método sbf() del paquete caret
Vamos a realizarlo con dos funciones internas diferentes para poder comparar y validar los resultados , ramdom forest y modelo lineal
#FILTRADO DE VARIABLES CON CARET
#Filtrado con sbf de caret usando RandomForest y Linear Model
# Se crea una semilla para cada partición y cada repetición: el vector debe
# tener B+1 semillas donde B = particiones * repeticiones.
ModeloTrain.Nodummy<-modelo1.Nodummy%>%filter(is.na(SalePrice)==FALSE)%>%select(-Id)
set.seed(456)
particiones = 10
repeticiones = 5
seeds <- sample.int(1000, particiones * repeticiones + 1)
# Control del filtrado Random Forest
ctrl_filtrado.rf <- sbfControl(functions = rfSBF, method = "repeatedcv", number = particiones, repeats = repeticiones, seeds = seeds, verbose = FALSE, saveDetails = TRUE)
# Control del filtrado Linear Model
ctrl_filtrado.lm <- sbfControl(functions = lmSBF, method = "repeatedcv", number = particiones, repeats = repeticiones, seeds = seeds, verbose = FALSE, saveDetails = TRUE)
set.seed(234)
rf_sbf <- sbf(SalePrice ~ ., data = ModeloTrain.Nodummy, sbfControl = ctrl_filtrado.rf,ntree = 500)
lm_sbf <- sbf(SalePrice ~ ., data = ModeloTrain.Nodummy, sbfControl = ctrl_filtrado.lm) Podemos apreciar que los resultados son iguales
De las 25 variables solo se ha descartado 1 Clase5. Las que quedan aparecen en las tablas inferiores para los distintos modelos
Aplicamos los resultado y eliminamos variable no influyente
| x |
|---|
| VecindarioBarrio2 |
| VecindarioBarrio3 |
| VecindarioBarrio4 |
| VecindarioBarrio5 |
| CimientosCimientos2 |
| CimientosCimientos3 |
| UbicaGarageGarage2 |
| UbicaGarageGarage3 |
| UbicaGarageGarage4 |
| ClasesClase2 |
| ClasesClase3 |
| ClasesClase4 |
| ClasesClase6 |
| Antiguedad |
| AntGarage |
| AreaPiso |
| BsmtQual |
| ExterQual |
| FireplaceQu |
| GarageFinish |
| GarageTotal |
| Habitat |
| KitchenQual |
| OverallQual |
| x |
|---|
| VecindarioBarrio2 |
| VecindarioBarrio3 |
| VecindarioBarrio4 |
| VecindarioBarrio5 |
| CimientosCimientos2 |
| CimientosCimientos3 |
| UbicaGarageGarage2 |
| UbicaGarageGarage3 |
| UbicaGarageGarage4 |
| ClasesClase2 |
| ClasesClase3 |
| ClasesClase4 |
| ClasesClase6 |
| Antiguedad |
| AntGarage |
| AreaPiso |
| BsmtQual |
| ExterQual |
| FireplaceQu |
| GarageFinish |
| GarageTotal |
| Habitat |
| KitchenQual |
| OverallQual |
2. MODELADO
Antes de empezar a aplicar modelos tenemos que eliminar la variable Id de ambos dataset, pero guardando una copia para poder enviar la respuesta
Para la fijación de nuestro modelo vamos a elegir el método de la validación cruzada del dataset Train con 20 iteraciones
No sabiendo que modelo elegir, para lo cual probaremos con el método train() del paquete caret diversos modelos y veremos que resultados nos aportan
Una cosa interesante que aporta este metodo es que llama a los diversos metodos de distintos paquetes con diferentes hiperparametros y se encarga de seleccionar los parametros propios de cada metodo mas eficientes
#PRUEBAS MODELOS
set.seed(234)
#MultiVariate Adaptative Regression Splines
MARS<-train(TrainFinal[,-25],TrainFinal[,25],'gcvEarth',trControl = trainControl(method = 'cv',number = 20))
#Modelo lineal
LM<-train(TrainFinal[,-25],TrainFinal[,25],'lm',trControl = trainControl(method = 'cv',number = 20))
#Ramdom Forest
RF<-train(TrainFinal[,-25],TrainFinal[,25],'ranger',trControl = trainControl(method = 'cv',number = 20))
#Modelo lineal
rlm<-lm(formula = SalePrice~.,data=TrainFinal)
#Regression splines
rnd<-lm(formula=SalePrice~bs(Antiguedad)+bs(OverallQual)+bs(BsmtQual)+bs(ExterQual)+bs(FireplaceQu)+bs(GarageFinish)+bs(KitchenQual)+AntGarage+AreaPiso+GarageTotal+Habitat+BBarrio2+BBarrio3+BBarrio4+BBarrio5+CCimientos2+CCimientos3+GGarage2+GGarage3+GGarage4+NClase2+NClase3+NClase4+NClase6 ,data=TrainFinal)
#Natural splines
rnd2<-lm(formula=SalePrice~ns(Antiguedad)+ns(OverallQual)+ns(BsmtQual)+ns(ExterQual)+ns(FireplaceQu)+ns(GarageFinish)+ns(KitchenQual)+AntGarage+AreaPiso+GarageTotal+Habitat+BBarrio2+BBarrio3+BBarrio4+BBarrio5+CCimientos2+CCimientos3+GGarage2+GGarage3+GGarage4+NClase2+NClase3+NClase4+NClase6 ,data=TrainFinal)
#Generalized Additice Model using SPLINE
GAMS<-train(TrainFinal[,-25],TrainFinal[,25],'gamSpline',trControl = trainControl(method = 'cv',number = 20))
#Generalize Linear Models
GLM<-train(TrainFinal[,-25],TrainFinal[,25],'glm',trControl = trainControl(method = 'cv',number = 20))
#Bayesian Ridge Regression
BRR<-train(TrainFinal[,-25],TrainFinal[,25],'bridge',trControl = trainControl(method = 'cv',number = 20))
#Bayesian Ridge Regression (Model Averaged)
BLASSO<-train(TrainFinal[,-25],TrainFinal[,25],'blassoAveraged',trControl = trainControl(method = 'cv',number = 20))
#Extreme gradient boosting
XGB<-train(TrainFinal[,-25],TrainFinal[,25],'xgbLinear',trControl = trainControl(method = 'cv',number = 20))
XGBT<-train(TrainFinal[,-25],TrainFinal[,25],'xgbTree',trControl = trainControl(method = 'cv',number = 20))3. RESULTADOS
Vamos a comparar los modelos elegidos
#Comprobacion resultados
options(digits=6)
model<-list(gcvEarth=MARS,lm=LM,ranger=RF,gamSpline=GAMS,glm=GLM,bridge=BRR,blassoAveraged=BLASSO,xgbLinear=XGB,xgbTree=XGBT)
result.resamples<-resamples(model)
#Resutados
metricas_resamples <- result.resamples$values%>%gather(key = "modelo", value = "valor", -Resample)%>%separate(col = "modelo", into = c("modelo", "metrica"), sep = "~", remove = TRUE)| modelo | MAE | RMSE | Rsquared |
|---|---|---|---|
| xgbTree | 17900.3 | 25888.2 | 0.891002 |
| ranger | 17796.4 | 26444.9 | 0.890143 |
| gcvEarth | 18527.0 | 26813.4 | 0.882849 |
| gamSpline | 19205.6 | 27160.8 | 0.882141 |
| xgbLinear | 19324.2 | 27388.8 | 0.881359 |
| bridge | 20573.4 | 29588.9 | 0.864643 |
| blassoAveraged | 20444.0 | 29604.4 | 0.864640 |
| lm | 20440.4 | 29307.8 | 0.863801 |
| glm | 20408.2 | 29537.1 | 0.862450 |
MAE: Mean Absolute Error. Media de errores absolutosRMSE: Root Mean Squared Error. Raiz cuadradra de la media de los residuos al cuadrado.RSquared: Bondad del ajuste. Es la relacion entre la suma de los cuadrados de regresion y la suma total de cuadrados.
Aunque el uso de un tipo de indicador u otro favorece ciertas caracteristicas en cada modelo, parece claro que hay dos que estan por encima de los demas en todos los indicadores
Resultados de los modelos con los distintos criterios. (La escala X esta recortada para mejor visualizacion) .
Modelos ordenados por Rsquared.
Los modelos que parecen mas efectivos son RandomForest, y xgbTree
ranger: RandomForest es un ensamble en paralelo (bagging) de arboles de predicción en los que se selecciona aleatoriamente los predictores en cada nodoxgbTree: eXtreme Gradient Boosting es un ensamble secuencial (boosting) de arboles de predicción en el que cada árbol intenta minimizar los residuos del anterior
Los otros modelos que también dan buenos resultados son:
GAMSpline:Generalized Additive Model using Splines es una combinacion lineal de funciones no lineales.Se trata de combinar distintos tipos de regresión en un conjunto no lineal, usando aquí smooth SplinesgvcEarth: MultiVariate Adaptative Regression Splines es parecido al anterior pero usando regression splinesXGBLineares un un ensamble secuencial como XGBoost pero orientado hacia el modelo lineal
4. PREDICCION
En un data frame elijo en varias columnas las predicciones que me da cada modelo
#Calculos previos para ponderaciones
RS<-metricas_resamples%>%filter(metrica=="Rsquared") %>% group_by(modelo, metrica) %>% summarise(media = mean(valor)) %>% spread(key = metrica, value = media) %>% arrange(desc(Rsquared))
RSM<-metricas_resamples%>%filter(metrica=="MAE") %>% group_by(modelo, metrica) %>% summarise(media = mean(valor)) %>% spread(key = metrica, value = media) %>% arrange(desc(MAE))
RSE<-metricas_resamples%>%filter(metrica=="RMSE") %>% group_by(modelo, metrica) %>% summarise(media = mean(valor)) %>% spread(key = metrica, value = media) %>% arrange(desc(RMSE))
RST<-RS%>%spread(modelo,Rsquared)
RSMT<-RSM%>%spread(modelo,MAE)
RSET<-RSE%>%spread(modelo,RMSE)
#Calculo para distintas ponderaciones
SumaRs<-RST$ranger+RST$gamSpline+RST$xgbTree+RST$gcvEarth+RST$xgbLinear
SumaRSM<-((1/RSMT$ranger)+(1/RSMT$gamSpline)+(1/RSMT$xgbTree)+(1/RSMT$gcvEarth)+(1/RSMT$xgbLinear))
SumaRSE<-((1/RSET$ranger)+(1/RSET$gamSpline)+(1/RSET$xgbTree)+(1/RSET$gcvEarth)+(1/RSET$xgbLinear))#Prediccion
result<-CopiaTest%>%select(-SalePrice)
result$RF<-predict(RF,TestFinal)
result$GAM<-predict(GAMS,TestFinal)
result$XGBT<-predict(XGBT,TestFinal)
result$MARS <-predict(MARS,TestFinal)
result$XGB <-predict(XGB,TestFinal)
result$media<-round(((result$RF+result$GAM+result$XGBT+result$MARS+result$XGB)/5),digits = 1)
#ponderada sobre Rsquared
result$ponderada<-round((((result$RF*RST$ranger)+(result$GAM*RST$gamSpline)+(result$XGBT*RST$xgbTree)+(result$MARS*RST$gcvEarth)+(result$XGB*RST$xgbLinear))/SumaRs),digits = 1)
#Ponderada sobre MAE
result$ponderada1<-round((((result$RF/RSMT$ranger)+(result$GAM/RSMT$gamSpline)+(result$XGBT/RSMT$xgbTree)+(result$MARS/RSMT$gcvEarth)+(result$XGB/RSMT$xgbLinear))/SumaRSM),digits = 1)
#Ponderada sobre RMSE
result$ponderada2<-round((((result$RF/RSET$ranger)+(result$GAM/RSET$gamSpline)+(result$XGBT/RSET$xgbTree)+(result$MARS/RSET$gcvEarth)+(result$XGB/RSET$xgbLinear))/SumaRSE),digits = 1)
#Redondeo hacia arriba en centenas de los valores
result$RF<-100*ceiling((result$RF/100))
result$GAM<-100*ceiling((result$GAM/100))
result$XGBT<-100*ceiling((result$XGBT/100))
result$MARS<-100*ceiling((result$MARS/100))
result$XGB<-100*ceiling((result$XGB/100))
result$media<-100*ceiling((result$media/100))
result$ponderada<-100*ceiling((result$ponderada/100))
result$ponderada1<-100*ceiling((result$ponderada1/100))
result$ponderada2<-100*ceiling((result$ponderada2/100))Fin<-result%>%select(Id,SalePrice=media)
Fin1<-result%>%select(Id,SalePrice=RF)
Fin2<-result%>%select(Id,SalePrice=GAM)
Fin3<-result%>%select(Id,SalePrice=XGBT)
Fin4<-result%>%select(Id,SalePrice=MARS)
Fin5<-result%>%select(Id,SalePrice=XGB)
Fin6<-result%>%select(Id,SalePrice=ponderada)
Fin7<-result%>%select(Id,SalePrice=ponderada1)
Fin8<-result%>%select(Id,SalePrice=ponderada2)
write.csv(Fin,file="Ames2_house.csv",row.names = FALSE)
write.csv(Fin1,file="Ames2_house1.csv",row.names = FALSE)
write.csv(Fin2,file="Ames2_house2.csv",row.names = FALSE)
write.csv(Fin3,file="Ames2_house3.csv",row.names = FALSE)
write.csv(Fin4,file="Ames2_house4.csv",row.names = FALSE)
write.csv(Fin5,file="Ames2_house5.csv",row.names = FALSE)
write.csv(Fin6,file="Ames2_house6.csv",row.names = FALSE)
write.csv(Fin7,file="Ames2_house7.csv",row.names = FALSE)
write.csv(Fin8,file="Ames2_house8.csv",row.names = FALSE)5. TEST
Estos son los resultado en KAGGLE
El valor corresponde al resultado aplicado al TEST que nos da RMSLE: Root Mean Squared Logarithmic Error similar al RMSE pero aplicando una reduccion logaritmica previa a los datos
Column
Podemos apreciar que los valores son muy parecidos tanto en la media directa de los modelos escogidos como en aquella ponderacion con el criterio que sea
Medias y Ponderadas
Column
Aunque se mantiene el orden de eficiencia que habiamos obtenido de los modelos durante el entrenamiento , hay que destacar que cualquier mezcla de varios sea con el criterio que sea de ponderacion es mejor que el mejor de los modelos en solitario
Modelos
